用于手术和介入性医疗过程中的成像系统和方法

用于手术和介入性医疗过程中的成像系统和方法
【专利摘要】一种用于显示内部解剖结构的图像的系统和方法包括用于在过程中从低分辨率扫描提供手术区域的高分辨率图像的图像处理装置。图像处理装置数字地操作先前获得的高分辨率基线图像以基于基线图像的运动排列产生很多代表图像。在过程中，选择具有与新的低分辨率图像的可接受的关联度的代表图像。合并所选择的代表图像与新图像以提供手术区域的更高分辨率的图像。图像处理装置还用于基于成像装置的运动提供显示图像的交互运动，以及允许在显示图像上布置注释以帮助放射技师和外科医生之间的通信。
【专利说明】用于手术和介入性医疗过程中的成像系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2011年10月5日提交的美国专利申请号N0.13/253，838的权益，其全部公开内容通过引用并入本文。
【背景技术】
[0003]本发明构思一种用于改变观看和获得患者图像(例如，通过X射线)的方式的系统和方法。更特别地，本发明的系统和方法提供用于减少手术过程中患者受到的总辐射而不明显地牺牲获得的图像的质量或分辨率的方法。
[0004]很多手术过程要求获取患者的内部身体结构(例如器官和骨骼)的图像。在一些过程中，借助于手术部位的周期性图像完成手术。手术可以广泛地指由医疗人员(例如，夕卜科医生、介入放射科医生、心脏病医生、疼痛治疗的医师等)进行的侵入性测试或介入。在实际上由连续成像导引的(我们将称作图像导引的)手术和介入中，频繁的患者图像对于医师的手术仪器(它们是导管、针、仪器或植入物)的适当放置或某些医疗过程的操作是必要的。荧光检查或荧光是手术期间发生的X射线的一种形式并且由荧光单元(也称作C形臂)提供。C形臂发送穿过患者的X射线束并采集在那个区域中的解剖结构(例如，骨骼和血管结构)的图片。与其他图片类似，这个图片是三维(3D)空间的二维(2D)图像。但是，与通过照相机采集的其他图片类似，关键的3D信息可能存在于基于谁在谁前面以及一个东西相对于另一个东西是多大的2D图像中。
[0005]DRR是通过采取患者的CT扫描以及模拟从不同角度和距离采取X射线而获得的X射线的数字表示。结果是，可以模拟可以被那个患者接受的任何可能的X射线，这对于患者的解剖特征相对于彼此看起来如何是唯一且特定的。因为“场景”是受控的，即，通过控制C形臂到患者的虚拟位置以及两者之间的角度，因此可以生成看起来像在手术室(OR)中捕获的X射线的图片。
[0006]很多成像方法(例如采集荧光图像)涉及将患者暴露于辐射，尽管是小剂量的辐射。但是，在这些图像导引的过程中，小剂量的数量增加，从而总辐射暴露不仅对患者是有问题的，对外科医生或放射科医生或参与手术过程的其他人也是有问题的。存在降低在采集图像时对患者/外科医生的辐射暴露的量的各种已知方式，但是这些方法实现的代价是降低获得的图像的分辨率。例如，某些方法使用与标准成像不同的脉冲成像，而其他方法涉及手动地改变曝光时间或亮度。缩小视场也可能可以减小辐射暴露的区域以及它的量(即改变辐射“散射”的量)，但是也以减少外科医生做医疗决定时可用的信息为代价。进一步地，手术介入期间采集的图像经常被无关的OR设备或用于执行介入的实际仪器/植入物遮挡。限制这些物体对后面的正常解剖结构的遮挡对医学界具有切实的利益。
[0007]需要一种可与标准医疗过程连接使用、减少对患者和医疗人员的辐射暴露但不牺牲X射线图像的准确性和分辨率的成像系统。还需要一种对仪器和硬件(例如，植入物)做出解释(否则可能遮盖手术部位的全视图)的成像系统。
【发明内容】

[0008]根据一方面，提供一种用于基于先前获取的高分辨率基线图像和新获取的低分辨率图像在手术或介入性医疗过程中生成患者的内部解剖结构的显示的系统和方法。高分辨率图像可以是在过程中获得的图像或前置过程图像(例如，DRR)。低分辨率图像可以使用脉冲和/或低剂量辐射设备获取。系统构思一种用于数字地操作高分辨率基线图像以产生基线图像组的图像处理装置，基线图像组包括4D或6D空间中的基线图像的多个运动排列处的基线图像的代表图像。将新的低分辨率图像与基线图像组比较以选择具有与新图像的可接受的关联度的代表图像。图像处理装置可实施进行比较的算法，例如主成分分析或其他统计测试。图像处理装置进一步用于将所选择的代表性的高分辨率图像与新的低分辨率图像合并以生成待显示的合并图像。可进一步处理合并图像以允许所选择的高分辨率图像和新的低分辨率图像之间的交替，或者调整并入显示图像的两个图像的量。
[0009]在本发明的另一个特征中，成像系统可包括在成像装置相对于患者移动时用作取景器的图像处理装置。根据这个特征，使用成像装置在第一方向获取手术区域的图像。当成像装置、患者或手术台从第一方向开始移动时，连续地显示获取的图像。使用图像处理装置跟踪这个运动以相对于跟踪运动移动显示图像。通过这个特征，显示器用作取景器以预测被成像装置在那时捕获的新图像如何表现。由此，这个特征可用于确定在何处采集患者的解剖结构的下一个现场图像或者可用于帮助将多个图像缝合在一起以形成手术区域的更大全景。图像处理装置可实施适于优化预测图像和最小化显示的偏差或偏离角(off-angle)现象的软件。另一方面，图像处理系统允许显示图像的注释以识别解剖特征或期望的图像轨迹或对齐。
[0010]在公开的实施例的进一步特征中，在基线方向中获取手术区域中的解剖结构的基线图像，数字地操作这个基线图像以产生基线图像组，基线图像组包括基线图像的多个运动排列处的基线图像的代表图像。手术区域的新图像中的解剖结构的部分被物体遮挡。这个新图像与基线图像组比较以选择具有与新图像的可接受的关联度的代表图像。图像处理系统生成示出遮挡物体被最小化或消除的手术区域的显示图像。系统进一步允许遮挡物体淡入和淡出显示。
【专利附图】

【附图说明】
[0011]图1是包括成像系统、图像处理装置以及跟踪装置的图像导引手术设备的示图；
[0012]图2a是使用成像系统中的全剂量辐射获取的手术区域的图像；
[0013]图2b是图2a示出的手术区域的图像，其中图像是使用低剂量辐射获取的；
[0014]图2c是根据本发明一方面的将图2a_b示出的两个图像合并得到的手术区域的合并图像；
[0015]图3是通过图1示出的图像处理装置执行的图形处理步骤的流程图；
[0016]图4a是包括遮挡部分的解剖结构的物体的手术区域的图像；
[0017]图4b是边缘增强的图4a示出的手术区域的图像；
[0018]图4c_4j是示出将不同的函数应用至图4b的手术区域以确定视图中的解剖特征和非解剖特征的图像；
[0019]图4k_41是使用阈值和查找表生成的掩模(mask)的图像；[0020]图4m_4n分别是图4k_41示出的掩模被膨胀和腐蚀后的图像；
[0021]图4o-4p分别是将图4m_4n的掩模应用至图4b的过滤图像以消除图像的非解剖特征而产生的图像；
[0022]图5a是包括遮挡部分的解剖结构的物体的手术区域的图像；
[0023]图5b是图5a示出的手术区域的图像与基线图像部分地合并以显示被遮挡的解剖结构的图像；
[0024]图6a_b是包括遮挡物体的手术区域的基线图像和合并图像；
[0025]图7a_b是因成像装置或C形臂的运动而调整的手术区域的显示，其中提供用于获取新图像的成像装置的界内位置和界外位置的指示符；
[0026]图8a_b是因成像装置或C形臂的运动而调整的手术区域的显示，其中提供新图像何时可被缝合至先前获取的图像的指示符；
[0027]图9a_b是因成像装置或C形臂的运动而调整的手术区域的显示，其中提供成像装置与用于获取新图像的期望轨迹的对齐的指示符；
[0028]图10是用于图1示出的图像处理装置的显示器和用户界面的视图；
[0029]图11是根据本发明的图像对齐过程的图形表示。
【具体实施方式】
[0030]为了促进本发明的原理的理解的目的，现在将参考附图中示出的以及下面的说明书描述的实施例。应理解的是，不意欲由此限制本发明的范围。应进一步理解的是，如本发明所属领域的技术人员通常想到的，本发明包括对示出的实施例的任何替换和修改，且包括对本发明的原理的进一步应用。
[0031]图1示出典型的成像系统100。成像系统包括支撑C形臂成像装置103的底座单元102。C形臂包括辐射源104，辐射源104定位在患者P的下方，并向上朝接收器105发送辐射束。已知的是，从源104发射的辐射束是圆锥形的，从而通过将源向患者移动或远离患者移动可以改变曝光的区域。C形臂103可以在箭头108的方向绕患者P旋转以得到手术部位的不同观测角。在一些示例中，植入物或仪器T可位于手术部位，迫使观测角的改变以实现部位的无阻观测。因此，接收器相对于患者的位置(特别是相对于感兴趣的手术部位的位置)可以在过程中根据外科医生或放射医生的需要而改变。因此，接收器105可包括安装至其的跟踪目标106以允许使用跟踪装置103跟踪C形臂的位置。例如，跟踪目标106可包括绕目标分布的多个红外发射器，跟踪装置用于从元件发射的红外信号用三角学测出接收器105的位置。底座单元102包括控制面板110，放射技师可通过控制面板110控制C形臂的位置以及辐射暴露。由此，典型的控制面板110允许技师在外科医生的方向上“拍摄手术部位的图片”，控制辐射剂量，以及发起辐射脉冲图像。
[0032]C形臂103的接收器105将图像数据传送至图像处理装置122。图像处理装置可包括与其相关联的数字存储器以及用于执行数字和软件指令的处理器。图像处理装置还可包含使用帧捕获技术来产生用于在显示装置126上投影为显示123、124的数字图像的帧捕获器。定位显示以便外科医生在过程中交互式地观测。两个显示可用于示出来自两个视角(例如横向和AP)的图像，或者可示出手术部位的基线扫描和当前扫描，或当前扫描和基于先前基线扫描和低辐射当前扫描的“合并”扫描，如本文所描述的。输入装置125 (例如键盘或触摸屏)可允许外科医生选择和操作屏幕上的图像。应理解的是，输入装置可包含与通过图像处理装置122执行的各种任务和特征相对应的键阵列或触摸屏图标。图像处理装置包括将从接收器105获得的图像数据转换为数字格式的处理器。在一些情况下，C形臂可以以电影曝光模式操作并且每秒产生很多图像。在这些情况下，可以将短时间周期内的多个图像平均成单个图像以减少运动伪像和噪声。
[0033]在本发明的一个方面中，图像处理装置122用于在从使用低剂量辐射获得的较少细节的图像得到的显示123、124上提供高质量实时图像。作为示例，图2a是“全剂量”(FD)X射线图像，而图2b是相同解剖结构的低剂量和/或脉冲(LD)图像。明显地，LD图像是太“噪声的”并且不能为精确的图像导引手术提供关于局部解剖结构的足够信息。虽然FD图像提供手术部位的清晰视图，较高的辐射剂量使得在过程中采集多个FD图像存在很多问题。使用本文描述的步骤，为外科医生提供图2c所示的大大地减少了 LD图像的噪声(在一些情况下，减少大约90%的噪声)的当前图像，从而使用脉冲或低剂量辐射设备为外科医生提供清晰的实时图像。这个性能允许在成像过程中显著地减小辐射暴露以在过程中验证仪器和植入物的位置。
[0034]图3的流程图描述根据本发明的方法的一个实施例。在第一步骤200中，获取手术部位的基线高分辨率FD图像并将其存储在与图像处理装置相关联的存储器中。在过程中移动C形臂的一些情况下，可以在手术部位中的不同位置获得多个高分辨率图像，然后将这些多个图像“缝合”在一起以形成合成基线图像(如下面讨论的)。在本文更详细描述的其他步骤中解释C形臂的运动，特别是在这些运动中“跟踪”获取的图像。为了本发明的讨论，假设成像系统是相对固定的，这意味着仅仅预期C形臂和/或患者的非常有限的运动，例如可能出现在硬膜外疼痛过程、脊髓K-钢针布置或取石中。在步骤202中，将基线图像投影到显示123上以验证手术部位正好位于图像的中心。在一些情况下，直到获得适当的基线图像才可获得新的FD图像。在移动C形臂的过程中，如下面所讨论的，在成像装置的新位置处获得新的基线图像。如果显示的图像可被接受作为基线图像，可按下用户界面上(例如显示装置126或界面125上)的按钮。在解剖区域上进行的过程中(其中由于生理过程(例如呼吸)发生大量的运动)，对于相同的区域，可在循环的多个阶段上获取多个基线图像。这些图像可被标记为来自其他医疗仪器(例如ECG或脉搏血氧仪)的暂态数据。
[0035]一旦获取基线图像，在步骤204中生成基线图像组，其中数字地旋转、平移原始基线图像以及调整原始基线图像的大小以产生原始基线图像的许多排列。例如，可将典型的128X128像素的二维(2D)图像在x方向和y方向上以I像素为间隔平移± 15像素，以3°为间隔旋转±9°，以2.5%为间隔从92.5%到107.5%按比例调节(4个自由度，4D)，产生基线图像组中的47089个图像。由于增加与X轴和I轴正交的两个额外的旋转，三维(3D)图像隐含6D解空间。原始CT图像数据组可用于以相似的方式形成许多DRR。因此，在这个步骤中，原始基线图像繁衍出许多新的图像表示，好像原始基线图像是在不同运动排列的每一个处获取的。在步骤206中，可将这个“解空间”存储在图形卡存储器中(例如图像处理装置122的图形处理单元(GPU)中)或者根据解空间中的图像的数量和GPU可以产生这些图像的速度形成随后被发送至GPU的新图像。在独立的医疗级计算机上，使用当前的计算能力，可以在少于一秒的时间内在GPU中生成具有约850000个图像的基线图像组，因为GPU的多个处理器可以各自同时处理图像。[0036]在过程期间，在步骤208中获取新的LD图像，将新的LD图像存储在与图像处理装置相关联的存储器中，并将新的LD图像投影到显示123上。由于新图像是在低剂量的辐射下获得的，因此它是非常噪声的。由此，本发明提供将新图像与来自基线图像组的图像“合并”以在第二显示124上产生向外科医生传递更有用信息的更清晰的图像的步骤。由此，本发明构思图像识别或配准步骤210，其中将新图像与基线图像组中的图像比较以发现统计上有意义的匹配。在步骤212中生成可在邻近原始新图像的视图的显示124上显示的新“合并”图像。在整个过程的不同时间，可在步骤216中获得用于生成步骤204中的新基线图像组的新基线图像。
[0037]步骤210构思将当前的新图像与基线图像组中的图像比较。由于这个步骤发生在手术过程中，因此时间和准确度是关键性的。优选地，步骤可以在少于一秒的时间内获得图像配准，以便在C形臂采集图像的时间和在装置126上显示合并图像的时间之间不存在有意义的延迟。可以根据不同的因素(例如，基线图像组中的图像的数量，进行算法计算的计算机处理器或图形处理器的大小和速度，为进行计算分配的时间，被比较的图像的大小(例如，128X128像素，1024X1024像素等)采用不同的算法。一种方法中，在4D空间的网格图案中的上述的预定位置处的像素之间进行比较。在另一种试探性方法中，像素比较可以集中在认为提供较大可能性的相关匹配的图像区域中。可以基于来自网格或(下面限定的)PCA搜索的知识、来自跟踪系统(例如光学手术导航装置)的数据、或者来自DICOM文件或等同的位置数据“预播种”这些区域。可选地，用户可通过在基线图像上标记被认为是与过程相关的解剖特征来指定图像的一个或多个区域用于比较。通过这个输入，可以为区域中的每个像素分配O至I之间的相关度分值，该相关度分值度量当新图像与基线图像比较时像素对图像相似度函数的贡献。相关度分值可被校准以识别被关注的区域和被忽略的区域。
[0038]在另一种方法中，进行主成分分析(PCA)，与全分辨率网格方法相比，PCA可允许在分配量的时间内对较多数量的较大图像进行比较。在PCA方法中，做出关于图像组的每个像素如何彼此共变的决策。使用总解集的仅仅一小部分(例如，从基线图像组随机选择的10%)可以生成协方差矩阵。将来自基线图像组的每个图像转换成列向量。在一个示例中，70X40像素图像变成2800X1向量。这些列向量被归一化成均值为O、方差为I并被组合成更大的矩阵。从这个更大的矩阵确定协方差矩阵并选择最大的本征向量。对于这个特定的示例，已经发现，30个PCA向量可以说明各个图像的差异的80%。由此，可以将每个2800X1图像向量乘以2800X30PCA向量以产生1X30向量。将相同的步骤应用至新图像-新图像转换成2800 X I图像向量，并乘以2800X30PCA向量产生与新图像对应的I X 30向量。对解集(基线图像)向量和新图像向量归一化，并计算新图像向量与解空间中的每个向量的点积。将产生最大点积(即，接近于I)的解空间基线图像向量确定为与新图像最接近的图像。应理解的是，可以使用不同的图像大小和/或用于分析的不同主成分改变本示例。应进一步理解的是，可以实施其他已知的技术，例如，这些其他已知的技术可利用本征向量、奇异值确定、均方差、平均绝对误差和边缘检测。进一步构思的是，可以将各种图像识别方法应用至图像的选定区域，或者可以应用各种统计度量以发现落在适当的置信度阈值内的匹配。可以指定置信度值或相关度值，该置信度值或相关度值量化新图像与选定基线图像或基线图像组的多个选定图像之间的相关度，可以显示这个置信度值以用于外科医生的检查。外科医生可以决定置信度值对于特定的显示是否是可接受的以及是否应获取其他图像。
[0039]在图像导引的手术过程中，工具、植入物和仪器将不可避免地出现在图像区域中。这些物体典型地是不透射线的，因此阻挡相关的患者解剖结构被观测到。由此，步骤210中获得的新图像将包括不与基线图像组的任何图像无关的工具T的伪像。由此，工具在图像中的出现保证上述的比较技术不产生新图像与基线图像组的任何图像之间的高配准度。然而，如果上述过程的每个的最终结果是找出统计相关的或超出某个阈值的最大相关度，可以使用整个新图像、工具伪像等进行图像配准。
[0040]可选地，可以改变图像配准步骤以解释新图像上的工具伪像。在一种方法中，可对新图像进行评估以确定被工具“遮挡”的图像像素的数量。这个评估可包含将每个像素的灰度值与阈值比较以及排除落在那个阈值外的像素。例如，如果像素灰度值从O(完全被遮挡)变化到10(完全透明)，可以应用阈值3来从评估中消除某些像素。额外地，当可获得各种被跟踪的工具的位置数据时，在算法上可以数学地避免被遮挡的区域。
[0041]在另一种方法中，图像识别或配准步骤210可以包括测量LD图像与患者或基线图像的转换版本(即，已经被转换以解释C形臂的运动的基线图像，如下关于图11的描述)的相似度的步骤。在图像导引的手术过程中，C形臂系统获取相同解剖结构的多个X射线图像。这个图像系列的获取过程中，系统可以小增量移动，手术工具可以进入视场或者从视场中移除，但是解剖特征可保持相对稳定。下述方法通过使用存在于一个图像中的解剖特征填充其他后续图像中的丢失细节来利用这个解剖特征的一致性。这个方法进一步允许从高质量的全剂量图像转到随后的低剂量图像。
[0042]在本方法中，使用图像的标量函数形式的相似度函数来确定当前LD图像和基线图像之间的配准。为了确定这个配准，首先必须确定图像之间已经发生的增量运动。这个运动可通过与四个自由度(标度、旋转、垂直平移和水平平移)相对应的四个数值来描述。对于给定的待比较的图像对，这四个数值的认知允许操作两个图像的一个，以便相同的解剖特征出现在两个图像的相同位置。标量函数是这个配准的度量，并可使用相关系数、点积或均方差获得。作为示例，点积标量函数对应于两个图像中的每个像素对的亮度值的积的总和。例如,将位于LD图像和基线图像的每个中的1234、1234处的像素的亮度值相乘。对每个其他像素位置进行类似的计算，并将所有这些乘值相加以获得标量函数。应理解的是，当两个图像被精确配准时，这个点积将具有最大可能的幅度。换句话说，当发现最佳组合时，相对应的点积典型地比其他点积大，这可被报告为Z分值(即，平均值之上的标准偏差的值)。大于7.5的Z分值表示99.9999999%地确定碰巧没有发现配准。应记住的是，使用这个点积寻找的配准是在患者的解剖结构的基线图像与视场和成像设备已经被移动或非解剖物体已经引入到视场之后的时间采集的相同解剖结构的实时低剂量图像之间。
[0043]这个方法特别地适于使用并行计算结构(例如包含能够并行地执行相同计算的多个处理器的GPU)执行。由此，GPU的每个处理器可用于计算LD图像与基线图像的一个转换版本的相似度函数。以这种方式，可以同时将基线图像的多个转换版本与LD图像比较。当获取到基线时，可预先生成转换的基线图像并将其存储在GPU存储器中。可选地，可以存储单个基线图像，并在比较过程中通过读取带有纹理拾取的变换坐标对单个基线图像进行转换。在GPU的处理器的数量远大于待考虑的转换的数量时，可将基线图像和LD图像分解成不同的部分，可以在不同的处理器上计算每个部分的相似度函数，然后进行合并。
[0044]为了进一步加速最佳转换的确定以对齐两个图像，可以首先使用包含较少像素的下采样图像计算相似度函数。通过求相邻像素群的平均，可预先进行这个下采样。对于下采样图像，可首先计算广范围的可能运动上的很多转换的相似度函数。一旦从这个组确定最佳转换，可使用这个转换作为应用至具有较多像素的图像的可能转换的较细网格的中心。以这种方式，在少量时间内考虑大范围的可能转换时，使用多个步骤高精度地确定最佳转换。
[0045]为了减小因不同图像中的整体亮度水平的差异引起的相似度函数的偏差，以及为了优先对齐用户感兴趣的图像中的解剖特征，可以在计算相似度函数之前对图像进行过滤。这种过滤理想地抑制与低剂量图像相关联的非常高的空间频率的噪音，同时还抑制与缺少重要解剖特征的大且平坦区域相关联的低空间频率信息。例如，可以使用傅里叶域的卷积、乘积或巴特沃斯过滤器实现这个图像过滤。因此，构思的是在生成相似度函数之前相应地过滤LD图像和基线图像。
[0046]如上所述，图像中可能存在非解剖特征(例如手术工具)，在这种情况下，可能必须改变相似度函数计算过程以保证仅仅解剖特征用于确定LD图像和基线图像之间的对齐。可以生成识别像素是否为解剖特征的一部分的掩模图像。一方面，可将解剖像素指定为值为1，而将非解剖像素指定为值为O。这种值的指定允许在如上所述计算相似度函数之前，将基线图像和LD图像均乘以相应的掩模图像。换句话说，掩模图像可消除非解剖像素以避免对相似度函数计算的影响。
[0047]为了确定像素是否为解剖像素，可以在每个像素的邻域中计算各种不同的函数。这些邻域的函数可包括标准偏差、梯度幅度、和/或像素在原始灰度图和过滤图像中的相应值。像素的“邻域”包括预定数量的相邻像素，例如5X5或3X3网格。额外地，可以合成这些函数，例如通过发现标准偏差的邻域中的标准偏差，或者通过计算标准偏差和梯度幅度的二次函数。邻域的适当函数的一个示例是使用边缘检测技术来区别骨骼和金属仪器。金属比骨骼呈现“更尖锐的”边缘，使用“边缘”像素的邻域中的标准偏差或梯度计算可以确定这个差异。由此，邻域函数可基于这个边缘检测方法确定像素为解剖像素还是非解剖像素，并视情况为像素指定O或I的值。
[0048]一旦已经为特定像素计算了一组值，可将这些值与从先前获取的图像的测量确定的阈值相比较并可以基于被超过的阈值的数量为像素指定二进制值。可选地，可以为像素指定O和I之间的分数值，反映关于将像素识别为解剖特征或非解剖特征的一部分的确定度。通过将图像中的每个像素处的计算分配到GPU上的一个处理器从而保证同时计算多个像素的值，可以加速这些步骤。可以对掩模进行操作以使用图像形态学操作(例如腐蚀和膨胀)填充和扩大与非解剖特征相对应的区域。
[0049]在图4a_4p的图像中示出这个方法的步骤的示例。在图4a中，手术部位的图像包括解剖特征(患者的头骨)和非解剖特征(例如夹钳)。过滤图4a的图像以边缘增强，产生图4b的过滤图像。可以理解的是，以常规的方式通过数千个像素表示这个图像，根据过滤器的边缘增强属性改变每个像素的亮度值。在这个示例中，过滤器是巴特沃斯过滤器。然后，这个过滤图像经历生成与非解剖特征对应的掩模的八个不同的技术。由此，将上述的邻域函数(即，标准偏差、梯度及其合成函数)应用至图4b的过滤图像以产生图4c-4j的不同图像。这些图像的每个存储为基线图像用于与现场LD图像比较和配准。
[0050]由此，图4c_4j的每个图像用于生成掩模。如上所述，掩模生成过程可以是通过像素亮度与阈值的比较或者通过查找表(其中，与已知的非解剖特征对应的亮度值与像素亮度比较)进行的。图4k-41示出通过阈值和查找表技术为邻域函数图像中的每个生成的掩模。然后，可以操作掩模以填充和扩大与非解剖特征相对应的区域，如图4m-4n的图像所示。然后，将产生的掩模应用至图4b的过滤图像以产生将与现场LD图像比较的图4o-4p的“最终”基线图像。如上所述，可以在GPU的各个处理器中进行这些计算和像素评估的每个，以便可以在非常短的时间内生成所有这些图像。而且，可以对这些掩模基线图像的每个进行转换以解释手术区域或成像装置的运动，并将这些掩模基线图像的每个与现场LD图像比较以发现产生最高Z分值的基线图像，其中最高Z分值对应于基线图像和LD图像之间的最佳对齐。然后，以下面描述的方式使用这个被选择的基线图像。
[0051]一旦完成图像配准，可以以不同方式显示新图像以及从基线图像组选择的图像。在一种方法中，合并两个图像，如图5a和图5b所示。图5a示出原始的新图像，仪器T是清晰可见的并遮挡下面的解剖结构。图5b示出步骤212(图3)中生成的部分合并的图像，其中仪器T仍然是可见的但大体上减轻，并且下面的解剖结构是可见的。通过以常规的方式组合图像的数字表示(例如通过相加或平均两个图像的像素数据)可以合并两个图像。在一个实施例中，外科医生可识别显示图像中的感兴趣的一个或多个特定区域，例如通过用户界面125，合并操作可用于为利用感兴趣的区域外的显示的基线图像数据以及对感兴趣的区域内的显示进行合并操作。用户界面125可提供有控制合并图像中显示的基线图像对新图像的量的“游标”。在另一种方法中，外科医生可在相关基线图像和新图像或合并图像之间切换，如图6a和6b所示。图6a中的图像是来自基线图像组的被发现具有与新图像的最高相关度的图像。图6b中的图像是获得的新图像。外科医生可在这些视图之间切换以得到下面的解剖结构的更清楚的视图和具有仪器T的当前区域的视图，通过切换图像，实际上从视场中数字地移除仪器，使仪器相对于被它遮挡的解剖结构的位置清楚。
[0052]在另一种方法中，可以在基线图像和新图像之间进行对数减法以识别两个图像之间的差异。生成的差分图像(其可能包含外科医生感兴趣的工具或注射对比剂)可以单独地显示，彩色地覆盖到或增加到基线图像、新图像或合成图像，从而更明显地显示感兴趣的特征。这可能需要在减法之前度量图像亮度值以解释C形臂暴露设置的变化。数字图像处理操作(例如腐蚀和膨胀)可用于移除差分图像中的与图像噪声相对应而不是与物理物体相对应的特征。如所描述的，方法可用于增强图像差或从合并图像移除差分图像。换句话说，差分图像可用作基线图像、新图像或合并图像中的差分图像的排除或包含的工具。
[0053]如上所述，本发明还构思一种手术导航过程，其中移动成像装置或C形臂103。由此，本发明构思使用市场上可购买的跟踪装置或来自成像装置的DICOM信息，跟踪C形臂的位置，而不是如传统的手术导航技术中那样跟踪手术仪器和植入物的位置。跟踪C形臂要求的精确度比跟踪仪器和植入物要求的精确度低很多。在这个实施例中，图像处理装置122接收来自跟踪装置130的跟踪信息。本发明的这个方面的目的是保证外科医生看见与实际手术部位一致的图像，不论C形臂相对于患者的方向如何。
[0054]跟踪C形臂的位置可以解释“漂移”，“漂移”是物理空间和成像(或虚拟)空间的渐进错位。这个“偏移”可因为微小的患者运动、与手术台或成像装置的意外接触甚至是重力而发生。这个错位经常是视觉上感觉不到的，但是可在图像中生成被外科医生观测到的明显位移。当正在进行手术导航过程(医师依赖于从这个装置获取的信息)时或者当要求新图像与基线图像的对齐以改进图像清晰度时，这个位移可以是有问题的。图像处理的使用消除基线图像和新图像的不可避免的错位。图像处理装置122进一步可包含校准模式，其中解剖结构的当前图像与预测图像相比较。通过下面描述的“质心”或COM的知识以及漂移可以解释图像的预测运动和实际运动之间的差异。一旦获取新图像，并且精确地评估C0M，对采集的每个连续图像可自动进行系统的重新校准，从而消除漂移的影响。
[0055]图像处理装置122可以以“跟踪模式”操作，其中监控C形臂的运动以及相应地移动当前显示的图像。当前显示的图像可以是最近的基线图像、新LD图像或如上所述生成的合并图像。该图像留在显示123、124中的一个上，直到通过成像装置100采集到新图片。使用通过跟踪装置130获取的位置数据在显示上移动这个图像以匹配C形臂的运动。可在显示上示出跟踪圈240,如图7a和图6b所示。跟踪圈确定图像的“界内”位置。当跟踪圈显示为红色时，将在当前C形臂位置获取的图像相对于基线图像位置将位于“界外”，如图7a所示。随着通过放射技术移动C形臂，显示上的代表图像也移动。当图像移动到“界内”，如图7b所示，跟踪圈240变绿，以便技师立刻得到C形臂现在位于获取新图像的适当位置的指示。跟踪圈可以被技师用于在手术过程中导引C形臂的运动。跟踪圈还可用于帮助技师准备基线缝合图像。由此，如图8a所示，没有被适当对齐以缝合至另一图像的图像位置将具有红色的跟踪圈，而如图8b所示，适当对齐的图像位置将具有绿色的跟踪圈。然后，技师可以获取图像以形成部分的基线缝合图像。
[0056]本发明构思一种增强外科医生和放射技师之间的通信的特征。在过程中，外科医生可请求在特定位置和方向处的图像。一个示例是已知的脊椎麻醉过程中的“弗格森视图”，其中倾斜AP方向的C形臂以将脊椎终板与“平直”方向的终板直接对齐或者与C形臂的射束轴基本平行。获取弗格森视图要求在获取脊椎的多个AP视图的同时旋转C形臂或患者手术台，这对于使用当前技术是不方便和不精确的，当前技术要求操作大量荧光图像以发现与终板最佳对齐的那个图像。本发明允许外科医生将网格叠加在单个图像或缝合图像上并且提供解剖特征的标签，然后技师可使用标签定位C形臂的方向。由此，如图9a所示，图像处理装置122用于允许外科医生将网格245放置在叠加在横向图像上的跟踪圈240内。外科医生还可定位标识解剖结构(在这种情况下为脊椎椎骨)的标签250。在这个特定的示例中，目标是将L2-L3磁盘空间与中心网格线246对齐。为了帮助技师，将轨迹箭头255叠加到图像上以指示使用当前位置的C形臂获取的图像的轨迹。随着C形臂移动，改变纯AP的方向，图像处理装置评估从跟踪装置230获取的C形臂位置数据以确定轨迹箭头255的新方向。由此，轨迹箭头随着C形臂移动，从而当它与中心网格线246对齐时(如图％所示)，技师可以拍摄已知C形臂是适当对齐的图像从而获取沿着L3终板的弗格森视图。由此，监控横向图像(直至它以中心网格线为中心旋转)允许放射技师在不猜测和不采集大量不正确的图像的情况下发现AP弗格森角度。
[0057]图像处理装置可进一步用于分别在显示123和124上同时示出横向视图和AP视图，如图10所示。任一个视图或者两个视图可包含网格、标签和轨迹箭头。这个相同的横向视图可显示在用于成像系统100的控制面板110上以被技师观看。如上所示，随着C形臂移动以将轨迹箭头与中心网格线对齐，横向图像和AP图像也相应地移动，从而外科医生对新图像看起来如何有直接的感知。此外，一旦技师如通过轨迹箭头与中心网格线的对齐所指示的适当定位C形臂的方向，获取新的AP图像。如图10所示，视图可包括多个轨迹箭头，每个轨迹箭头与特定的磁盘空间对齐。例如，最上边的轨迹箭头与L1-L2磁盘空间对齐，而最下边的轨迹箭头与L5-S1磁盘空间对齐。在多层次的过程中，外科医生可要求不同层次的弗格森视图，这可通过请求技师将C形臂与特定轨迹箭头对齐而容易地获得。
[0058]在另一个特征中，可以将不透射线的非对称形状放置在C形臂检测器上的已知位置。这产生将C形臂的坐标系关联至C形臂的图像坐标系的任意方向的能力。由于C形臂的显示可被改变以生成具有任何旋转或镜像的图像，检测这个形状根本上简化图像比较和图像缝合的过程。由此，如图11所示，基线图像B包括在图像的9点钟位置处的标记“K”。获取新图像N，其中已经通过医师或技师将标记旋转为远离默认方向。由于这个角偏置，t匕较这个新图像和基线图像组不可能产生图像之间的任何配准。在一个实施例中，图像处理装置检测C形臂从基线方向的实际旋转，而在另一个实施例中，图像处理装置使用图像配准软件将“K”标记定位在新图像中并确定与默认位置的角偏置。这个角偏置用于改变基线图像组中的图像的旋转和/或镜像。在它的转换后的方向中保持图像配准步骤210中选择的基线图像以与新获取的图像合并。这个转换可包括旋转和镜像成像以消除存在于C形臂上的显示效果。
[0059]另一方面，已知的是，随着C形臂辐射源104移近手术台，通过接收器105捕获的图像的尺寸变大；将接收器移近手术台导致图像尺寸的减小。然而，可以容易地确定图像随着朝向人体和远离人体的运动而变化的量，如果C形臂沿着手术台平移，图像将移动，这个改变的幅度取决于患者的“质心”(COM)与辐射源的邻近度。尽管成像的解剖结构是3D结构的，且具有高精确度，但是数学上我们可以将这个解剖结构表示成放置在结构的COM处的2D图片。然后，例如，当COM接近于辐射源时，小运动将导致产生的图像大幅移动。可是，直至确定C0M，物体在屏幕上的位移的计算量与它们的实际运动成正比而不是相等。差异用于计算COM的实际位置。基于那些差异的量调整C0M，当图像移动太多时，远离辐射源移动，如果图像移动太小，朝相反的方向移动。假设COM初始位于跟踪装置的参考弧所附接的手术台的中心。COM的真实位置使用成像系统的初始设置过程中采集的初始的两个或三个图像相当精确地确定，使用采集的每个新图像再确认/调整。一旦在全局空间确定C0M，可以计算C形臂相对于COM的运动，并将其应用于相应地平移基线图像组以图像配准。
[0060]图像处理装置122还可用于允许外科医生将其他跟踪元素引入图像，以帮助在过程中指导外科医生。闭环反馈方法允许外科医生确认这个感知到的跟踪元素的位置以及取出那个相应的元素的图像。具体地，将现场X射线与从手术导航系统确定的位置比较。以相同的方式，图像识别中的基线图像的认知可以用于跟踪患者的解剖结构，即使解剖结构被不透射线的物体遮挡，当将采集的图像与它们的跟踪位置相比较时，不透射线的物体的认知可以用于确认它们的跟踪。当同时跟踪仪器/植入物和C形臂时，已知解剖结构相对于成像源的位置以及设备相对于成像源的位置。由此，这个信息可用于快速且交互地确定设备或硬件相对于解剖结构的位置。作为示例，例如，这个特征对于在血管造影过程中跟踪导管的路径可以具有特别的适用性。在典型的血管造影过程中，电影或连续的荧光用于跟踪导管沿血管的行径。本发明允许将先前生成的具有导管的虚拟图示的解剖结构的图像与解剖结构和实际导管的现场荧光照片相互拼接。由此，与典型的电影过程的每秒采集15幅荧光照片不同，本发明允许放射技师每秒仅采集一幅照片以在导管沿血管行进时有效且精确地跟踪导管。拼接先前生成的图像以解释未采集的照片。如果必要的话，虚拟表示可被证实为被采集和重新校准时的现场照片。
[0061]在某些过程中，可以将血管解剖结构的位置固定至更大的特征(例如附近的骨骼)。这可使用来自先前的CT血管造影片(CTA)或过程中采集的实际血管造影片的DDR完成。或者，方法可用作将血管造影片关联回骨骼解剖结构的方式，反之亦然。为了更详细地描述，相同的CTA可用于产生不同的DDR，例如仅仅突出骨骼解剖结构的DDR和包括血管解剖结构和骨骼的匹配组中的另一个的DDR。然后，可以将采集的患者的骨骼解剖结构的基线荧光图像与骨骼DDR相比较以确定最佳匹配。包括血管解剖解剖的匹配的DDR可以用于与新图像合并，而不是使用仅有骨骼的DDR显示结果。在这种方法中，骨骼帮助将导管的放射照相的位置放置至血管解剖结构中的它的位置。由于没有必要连续地对血管自身成像(因为这个结构的图片可以叠加到获取的仅有骨骼的图像上)，与先前的过程相比可以限制造影剂的使用，在先前的过程中造影剂对于持续地看见血管是必要的。
[0062]下面是利用上述的图像处理装置的特征的特定过程的一些示例。这些仅仅是关于如何使用基线图像类型、显示选项和辐射剂量的不同组合操作软件的一些示例，不意味是详尽清单。
[0063]脉冲新图像/相间/FD荧光或术前X射线
[0064]采集脉冲图像并将其与包含在手术过程前采集的较高分辨率非脉冲图像的先前获取的基线图像组相比较。当前图像和基线解集的一个之间的配准提供反映当前位置和解剖结构的视图的基线图像。新图像被交替地显示或叠加有配准的基线图像，示出叠加的当前信息且与较少被遮盖或较清晰的图像交替。
[0065]脉冲新图像/相间/从DRR得到的基线
[0066]采集脉冲图像并将其与先前获得的基线图像的解集相比较，基线图像的解集包含从CT扫描获得的较高分辨率的DRR。DRR图像可被限制为仅示出骨骼解剖结构，而不示出经常使OR中采集的影片“模糊”的其他模糊的信息(例如，博威绳子、心电图引线等)以及使骨骼的清晰度模糊的物体(例如，肠积气、器官等)。与上述示例一样，新图像与先前DRR图像的一个进行配准，这些图像在显示123、124上交替或叠加。
[0067]脉冲新图像/合并而不是交替
[0068]可以应用上述的所有技术而不是交替新图像和配准的基线图像，合并先前图像和当前图像。通过进行加权平均或类似的合并技术，可以获取示出关于解剖结构的当前信息(例如，仪器、植入物、导管等的放置)与解剖结构的较高分辨率图片合并的单个图像。在一个示例中，可以提供两个图像的合并的多个视图，范围从100 %脉冲图像到100 % DRR图像。用户界面125上的滑动按钮允许外科医生按需调整这个合并范围。
[0069]新图像是较大基线图像组的小段
[0070]在任何给定时间进行的成像包含有限的信息，整个人体部分的一部分。例如，瞄准减小总组织辐射暴露量且减小朝向医师的辐射散射，但是以限制获得的图像的视场为代价。示出较大图像(例如，术前或术中获得的，或从CT得到的)的背景中的实际最后投射的图像-在校正位置合并或交替-可以补充关于较小图像区域的信息以允许并入较大人体结构的参考。应用如上所述的相同的图像配准技术，除了配准是应用至与新图像中的视图的区域相对应的(缝合的或非缝合的)基线图像中的较小区域。
[0071]同h,位于梓合区域或摭挡区域
[0072]不是少见的，特别在具有不同总密度(例如，胸部对相邻的腹部，头部/颈部/颈椎对上胸)的区域，清楚地可视化的X射线的区域仅仅是获得的实际图像的一部分。当它限制将窄视图放置进人体的较大背景下的能力时，或者当需要被评估的区域在图像的遮挡部分中时，这是令医师沮丧的。通过将多个图像(每个在局部理想环境下采集)缝合在一起，可以获得较大的图像。进一步，可以将当前图像增加至较大背景(如上所述)以填充被它的相关位置模糊的图像的部分。
[0073]未遮挡隐藏的解剖结构或减轻它的局部效果
[0074]如上所述，图像处理装置在当前新图像和基线图像组之间进行图像配准步骤，这实际上限制噪声(X射线散射或小遮挡物体(例如，绳子等)或者甚至更大的物体(例如，工具、仪器等)的形式)给予的错误信息。在很多情况下，它是被工具或仪器遮挡的对正在进行的手术非常重要的解剖图像的那部分。通过从图像消除遮挡物体，手术变得更安全且更有效，医师变得能够使用改进的认知继续手术。使用在增加噪声之前采集的图像(例如，旧影片、基线单个FD图像、手术之前采集的缝合在一起的荧光照片等)或理想化的图像(例如，从CT数据生成的DRR)，显示那个先前的“清楚”图像，与当前图像合并或交替，将使得那些物体从图像消失或变成阴影而不是浓厚的物体。如果这些是被跟踪的物体，那么可以随着正在进行的数学比较，进一步淡化遮挡区域或者可以消除来自它的信息，从而进一步改进比较的速度和准确度。
[0075]如本文所描述的图像处理装置提供三个一般特征:(I)减小可接受的现场图像所需的辐射暴露的量，(2)为外科医生提供可以帮助手术过程的图像，以及(3)改进放射技师和外科医生之间的通信。关于减小辐射暴露的方面，本发明允许在手术过程期间采集低剂量图像，并将其填充进当前图像中由“噪声”产生的间隙以产生具有全剂量图像的细节的当前视场的合成或合并图像。在实际中，这允许使用所有普通的、市场上可购买的C形臂上存在的未修改特征以比标准FD成像的辐射暴露少的辐射暴露量级生成患者的解剖结构的高可用且高质量的图像。本文描述的用于图像配准的技术可以在图形处理单元中实施并且可以在瞬间发生以真实地交互；当要求在例如CINE模式时，图像配准可以每秒发生多次。用户界面允许外科医生确定获取配准图像所需的置信度水平以及为外科医生提供关于显示的性质的选项，从并排视图到淡入/淡出合并视图。
[0076]关于为外科医生提供帮助手术过程的图像的特征，多个数字图像技术可以用于改进用户的体验。一个示例是可以用于不管可能在图像捕获之间发生的任何位置变化将向外科医生显示的图像保持在基本“静止”的位置的图像跟踪特征。根据这个特征，基线图像可以在空间中固定，新图像向其调整，而不是反过来。当在过程的步骤中采集连续图像时，可以相对于先前图像稳定每个新图像，从而将感兴趣的特定物体(例如，解剖结构或仪器)保持为在连续视图中是静止的。例如，当将接骨螺钉引入人体部分时采集序列图像时，人体部分在显示屏幕上保持静止，以便可以直接观测螺钉的实际进度。
[0077]在这个特征的另一方面中，包括遮挡物体的当前图像可以与没有任何遮挡物体的早前图像进行比较。在配准过程中，图像处理装置可以生成新图像和基线图像之间的合并图像，该合并图像从显示图像淡化物体的遮挡特征。用户界面还为医师提供将遮挡物体淡入和淡出显示视图的能力。
[0078]在物体自身被跟踪的其他实施例中，可以将遮挡物体的虚拟版本增加回显示图像。图像处理装置可以从跟踪遮挡物体的位置的跟踪装置获取位置数据并使用这个位置数据确定显示图像中的虚拟物体的适当位置和方向。虚拟物体可以应用至将与新的当前图像比较(用做检查步骤)的基线图像-如果新图像在给定公差内与生成的图像(工具和解剖结构)相匹配，那么可以进行手术。如果匹配是不好的，可以停止手术(在自动手术的情况下)和/或可以进行重新校准。这允许闭环反馈特征以帮助医疗介入的自动化的安全性。
[0079]对于某些过程，例如伪血管造影过程，将来自基线图像的血管投影到当前图像上可以允许医师在工具沿着脉管系统行进时观察工具(例如，微导管、支架等)，同时使用更少的造影剂负载。相邻的骨骼解剖结构用作血管的“锚(anchor)”-在图像配准过程中基本上跟踪骨骼，且假设血管保持与这个结构相邻。换句话说，当解剖结构在连续图像之间移动时，新图像与基线图像组的与“背景”解剖结构的新位置对应的不同一个配准。然后可以将包含血管结构的来自不同但是已经关联的基线图像的血管与缺少对比的显示图像叠加或合并。如果必要或需要，可以进行间歇血管造影以确认。当与被跟踪的导管相结合时，可以将仪器位置的工作知识引入图像。可以产生电影(当获得血管造影片时，经常使用荧光照片的连续影像循环)，其中将生成的图像相互拼接成电影图像，允许在操作血管造影片或放置导管时获得很多较少的X射线。最后，一旦已经将图像关联至原始基线图像，这些图像的任一个可以用于合并至当前图像，产生监控植入物的运动、构建体的形成、支架的放置等的工具。
[0080]在第三特征-改进通信-中，本文描述的图像处理装置允许外科医生以这样的方式对图像做注释:可以帮助指导技师关于如何和何处采集新图片定位C形臂。由此，图像处理装置122的用户界面125为外科医生提供工具以将网格增加至显示图像、标记解剖结构和识别用于成像装置的对齐的轨迹。随着技师移动成像装置或C形臂，显示图像也移动。这个特征允许放射技师将期望成像在屏幕的中心的解剖结构集中在期望方向，而不在每次将C形臂带回获取这个的区域中时采集多个图像。这个特征为C形臂提供取景器，当前缺少的特征。技师可以驱动C形臂采集具有为满足外科医生的表达需求定制的视图的新图像。
[0081]另外，例如，将C形臂的运动关联至使用DICOM数据或手术导航支柱采集的图像，帮助随着C形臂的移动而移动显示图像以为随后的图像获取做准备。“界内”和“界外”指示符可以为技师提供C形臂的当前运动是否导致不能与任何基线图像相关联或配准或者不能与其他图像缝合在一起以形成复合视场的图像的直接指示。由此，图像处理装置提供允许外科医生和技师将C形臂的位置和轨迹的计划改变的效果可视化的图像显示。而且，图像处理装置可帮助医师例如改变手术台的位置或C形臂的角度，以便适当地对齐解剖结构(例如，与手术台平行或垂直)。图像处理装置还可使用来自两个或更多个不同扫描架角度/位置的两个或更多个X射线照片确定X射线照射的物体的正中心的质心(COM)，然后使用这个COM信息改进物理空间(毫米级)与显示的成像空间(像素级)的关联。
[0082]本文描述的图像识别部件可以克服缺少对待采集的下一图像的位置的认知的问题，提供大量的益处。粗略地知道新图像相对于基线的中心位置可以限制扫描成像空间的较大区域的需求，由此明显地增加图像识别软件的速度。可以忍受较大量的辐射减少(因此，噪声)，因为在图像识别上存在内部检查。可以将没有手术导航而设计的系统中的多个手动特征(例如，基线图像生成、多个基线图像组之间的切换、和缝合)自动化。这些特征在图像跟踪背景下同样有用。
[0083]如上所述，本系统和方法将先前获取的图像与现场图像相关联或综合以保证向外科医生呈现手术部位、解剖结构和硬件的精确视图。在最佳情况下，先前获取的图像是来自特定患者的并且是在临近手术过程的时间获取的。但是，在一些情况下，没有这种先验图像可用。在这种情况下，可以从CT和DRR图像的数据库提取“先前获取的图像”。根据患者的身高和身材，多数患者的解剖结构是相对一致的。存在可以从图像的大数据库中获取具有基本相似的解剖结构的患者的先验图像的高可能性。可以通过图像处理装置122执行的软件将图像关联至当前成像装置位置和视图以确定先验图像是否足够接近当前患者的解剖结构以可靠地用作将与现场图像相互拼接的“先前获取的图像”。
[0084]图10中的显示表明可被包含到图像处理装置122、用户界面125和显示装置126中的显示和用户界面的类型。例如，显示装置可包括两个显示122、123以及绕显示的周围的“无线”按钮或图标。图标可以是激活特定特征(例如，显示中示出的“标签”、“网格”和“轨迹”特征)的触摸屏按钮。激活触摸屏或无线按钮可以访问可被外科医生使用以进行特定行动的不同屏幕或下拉菜单。例如，激活“标签”按钮可以访问具有标签“L1”、“L2”等的下拉菜单以及允许外科医生将标签放置在图像上的期望位置处的拖动和下降特征。相同的过程可用于放置图10中示出的网格和轨迹箭头。
[0085]尽管已经在附图和前面的描述中详细说明和描述本发明，其被理解为说明性的且不限制特征。应理解的是，仅仅已经示出优选实施例，期望保护落在本发明的精神范围内的所有改变、修改和进一步应用。
【权利要求】
1.一种用于在医疗过程中生成手术区域中的患者的内部解剖结构的图像显示的方法，包括: 在基线方向获取包括所述患者的内部解剖结构的所述手术区域的高分辨率基线图像； 数字地操作所述高分辨率基线图像以生成基线图像组，所述基线图像组包括从所述基线方向开始的所述基线图像的多个运动排列处的所述基线图像的代表图像； 以较低的分辨率获取所述手术区域的新图像； 将所述新图像与所述基线图像组中的所述代表图像比较，并选择具有与所述新图像的可接受的关联度的所述代表图像；以及 将所选择的代表图像与所述新图像合并并显示合并图像。
2.根据权利要求1所述的方法，其中所述基线图像是预处理全剂量荧光图像或CT扫描图像的一个。
3.根据权利要求1所述的方法，其中所述基线图像是DRR。
4.根据权利要求1所述的方法，其中所述新图像是脉冲和/或低剂量图像的一个。
5.根据权利要求1所述的方法，其中所述数字地操作所述基线图像的步骤中的运动排列包括与2D图像相对应的4D运动。
6.根据权利要求1所述的方法，其中所述数字地操作所述基线图像的步骤中的运动排列包括与3D图像相对应的6D运动。
7.根据权利要求1所述的方法，其中: 在所述数字地操作所述高分辨率图像的步骤中，所述运动排列形成预定的图像运动网格；以及 将所述新图像与所述基线图像组的所述代表图像比较的步骤包括比较所述代表图像与所述新图像之间的重叠像素。
8.根据权利要求1所述的方法，其中将所述新图像与所述基线图像组的所述代表图像比较的步骤包括试探性地选择用于比较的代表图像。
9.根据权利要求1所述的方法，其中将所述新图像与所述基线图像组的所述代表图像比较的步骤包括: 对所述基线图像组中的所述代表图像的像素进行主成分分析(PCA)以生成一个或多个PCA向量； 生成代表图像中的每个像素的PCA向量的PCA矩阵； 生成每个代表图像和所述图像中的每个像素的像素数据的所述新图像的列向量； 对所述PCA矩阵和每个列向量进行矩阵运算以生成每个代表图像和所述新图像的新列向量； 获取所述新图像的列向量和每个代表图像的列向量的点积；以及 选择所述点积在预定阈值内的代表图像。
10.根据权利要求1所述的方法，其中所述医疗过程包括遮挡或遮盖所述手术区域的图像中的所述内部解剖结构的工具、仪器、植入物或其他物体，其中将所述新图像与所述基线图像组的所述代表图像比较的步骤包括仅比较被遮挡或遮盖的部分外的所述图像的部分。
11.根据权利要求10所述的方法，其中通过确定具有在预定阈值外的值的像素确定所述新图像的被遮挡或遮盖的部分的位置。
12.根据权利要求1所述的方法，其中: 数字地操作所述高分辨率基线图像的步骤包括提供每个代表图像的平行图像，在所述平行图像中减少或增强某些解剖特征；以及 合并所选择的代表图像的步骤包括将所述平行图像合并且显示到所述所选择的代表图像。
13.一种用于在医疗过程中生成患者的内部解剖结构的图像显示的图像处理装置，包括: 存储器，用于存储所述手术区域在基线方向的高分辨率基线图像以及低分辨率的所述手术区域的新图像，其中所述手术区域包括患者的内部解剖结构；以及处理器，用于: 数字地操作所述高分辨率基线图像以生成基线图像组，所述基线图像组包括从所述基线方向开始的所述基线图像的多个运动排列处的所述基线图像的代表图像； 执行用于将所述新图像 与所述基线图像组中的所述代表图像比较以及选择具有与所述新图像的可接受的关联度的代表图像的软件指令； 数字地合并所选择的代表图像与所述新图像；以及 生成用于在显示装置上显示合并图像的信号。
14.根据权利要求13所述的图像处理装置，其中运动排列包括与2D图像相对应的4D运动。
15.根据权利要求13所述的图像处理装置，其中运动排列包括与3D图像相对应的6D运动。
16.根据权利要求13所述的图像处理装置，其中: 所述处理器用于数字地操作所述高分辨率图像，以便所述运动排列形成预定的图像运动网格；以及 所述用于将所述新图像与所述基线图像组的所述代表图像比较的所述软件指令包括比较所述代表图像与所述新图像之间的重叠像素。
17.根据权利要求13所述的图像处理装置，其中用于将所述新图像与所述基线图像组的所述代表图像比较的所述软件指令包括: 对所述基线图像组中的所述代表图像的像素进行主成分分析(PCA)以生成一个或多个PCA向量； 生成代表图像中的每个像素的PCA向量的PCA矩阵； 生成每个代表图像和所述图像中的每个像素的像素数据的所述新图像的列向量；对所述PCA矩阵和每个列向量进行矩阵运算以生成每个代表图像和所述新图像的新的列向量； 获取所述新图像的列向量和所述每个代表图像的列向量的点积；以及 选择所述点积在预定阈值内的代表图像。
18.根据权利要求13所述的图像处理装置，其中所述医疗过程包括遮挡或遮盖在手术区域的图像中的所述内部解剖结构的工具、仪器、植入物或其他物体，其中用于将所述新图像与所述基线图像组的所述代表图像比较的所述软件指令包括仅比较被遮挡或遮盖的部分外的所述图像的部分。
19.根据权利要求18所述的图像处理装置，其中通过确定具有预定阈值外的值的像素确定所述新图像的被遮挡或遮盖的部分的位置。
20.根据权利要求13所述的图像处理装置，其中进一步包括用户界面，所述用户界面可操作用于允许手动调节数字地合并所选择的代表图像和所述新图像的程度。
21.根据权利要求20所述的图像处理装置，其中: 所述用户界面进一步可操作用于允许在所述代表图像、所述新图像和所述合并图像的一个或多个的显示之间的手动切换；以及 所述处理器根据所述用户界面生成用于在显示装置上显示的信号。
22.一种用于在医疗过程中生成手术区域中的患者的内部解剖结构的图像显示的方法，包括: 使用成像装置在第一方向获取所述手术区域的图像； 显示获取的图像； 从所述第一方向移动所述成像装置、患者或手术台； 跟踪所述成像装置、患者或手术台从所述第一方向的运动； 在使用所述成像装置获取所述手术区域的新图像之前，关于跟踪的运动而移动显示图像。
23.根据权利要求22所述的方法，其中移动显示图像的步骤包括补偿由所述成像装置相对于所述手术区域的位置生成的显示图像的运动中的误差。
24.根据权利要求23所述的方法，其中补偿误差的步骤包括确定所述手术区域的质心以及基于所述成像装置相对于所述质心的位置而调整所述显示图像的运动。
25.根据权利要求22所述的方法，其中显示获取的图像的步骤包括在所述显示图像上叠加表明所述新图像的期望视场的标记。
26.根据权利要求25所述的方法，其中在所述显示图像位于所述期望视场外的第一状态以及所述显示图像在所述期望视场内的第二状态显示所述标记。
27.根据权利要求26所述的方法，其中响应于所述标记的状态，移动所述成像装置。
28.根据权利要求26所述的方法，其中在保持所述成像装置静止的同时，将所述患者或手术台移动至所述手术区域中的患者位于所述期望视场内的位置。
29.根据权利要求25所述的方法，其中所述期望视场与用于缝合所述手术区域的多个新图像的方向相对应。
30.根据权利要求22所述的方法，其中显示所述获取的图像的步骤包括在所述显示图像上叠加表明所述成像装置相对于全局坐标系的位置的标记。
31.根据权利要求22所述的方法，进一步包括叠加表明所述显示图像的期望运动的标记。
32.根据权利要求31所述的方法，其中所述标记是叠加在所述显示图像上的网格，当所述显示图像运动时,所述标记相对于所述显示图像保持静止。
33.根据权利要求32所述的方法，其中所述标记包括表明随所述显示图像移动的所述新图像的观看视场的轨迹指示符。
34.根据权利要求33所述的方法，其中在获取所述新图像之前，移动所述成像装置直至所述轨迹指示符与所述网格的部分对齐。
35.根据权利要求22所述的方法，进一步包括在所述显示图像中叠加与所述解剖特征相对应的标识符，所述标识符随所述显示图像移动。
36.根据权利要求22所述的方法，进一步包括: 获取所述新图像； 将所述新图像与所述显示图像比较，以及调整所述显示图像以消除两个图像之间的任何偏移。
37.根据权利要求22所述的方法，进一步包括: 获取所述新图像； 将所述新图像与所述显示图像比较，以及调整所述显示图像以稳定所显示的解剖结构的位置。
38.根据权利要求22所述的方法，进一步包括: 从图像导引系统接收位置数据；以及 将所述显示图像与所述位置数据相关联以及相应地调整所述显示图像。
39.根据权利要求22所述的方法，其中所述医疗过程是跟踪例如工具或仪器的物体的位置的手术导航过程，其中所述新图像包括所述工具或仪器的图像，所述方法进一步包括: 在所述获取的图像上引入所述物体的表示； 在相对于跟踪的运动而移动所述显示图像之后，获取与所述物体的跟踪位置相对应的位置数据以及将所述位置数据与所述物体在所述运动图像上的位置相比较；以及 基于所述位置数据与所述物体在所述运动图像上的位置的比较，重新校准所述运动图像。
40.一种在医疗过程中生成手术区域中的患者的内部解剖结构的图像显示的方法，其中所述医疗过程包括遮挡或遮盖所述内部解剖结构形成在手术区域的图像中的工具、仪器、植入物或其他物体，所述方法包括: 在基线方向获取所述手术区域中的解剖结构的高分辨率基线图像； 数字地操作所述高分辨率基线图像以生成基线图像组，所述基线图像组包括从所述基线方向开始的所述基线图像的多个运动排列处的所述基线图像的代表图像； 获取所述手术区域的新图像，其中所述解剖结构的部分被所述物体遮挡； 将所述新图像与所述基线图像组中的所述代表图像比较以选择具有与所述新图像的可接受的关联度的代表图像；以及 显示所选择的代表图像以示出最小化、强化或消除遮挡物体的手术区域。
41.根据权利要求40所述的方法，其中将所述新图像与所述基线图像组的所述代表图像比较的步骤包括仅比较被遮挡或遮盖的部分外的所述图像的部分。
42.根据权利要求41所述的方法，其中通过确定具有预定阈值外的值的像素确定所述新图像的被遮挡或遮盖的部分的位置。
43.根据权利要求40所述的方法，进一步包括: 从图像导引系统接收位置数据；以及将所述显示图像与所述位置数据相关联并相应地调整所述显示图像。
44.根据权利要求40所述的方法，其中: 数字地操作所述高分辨率基线图像的步骤包括提供每个代表图像的平行图像，所述平行图像中减小或增强某些解剖特征；以及 显示所选择的代表图像的所述步骤包括显示所选择的代表图像的平行图像。
45.根据权利要求1所述的方法，其中所述比较步骤包括: 获取所述基线图像组的每个基线图像的每个像素的亮度值； 获取所述新图像的每个像素的亮度值； 生成所述新图像和每个基线图像的相同位置像素的亮度值的标量函数，所述标量函数生成标量值；以及 选择具有最大标量值的基线图像作为所述所选择的代表图像。
46.根据权利要求45所述的方法，其中生成每个基线图像的标量函数相对于所有基线图像的标量函数的Z分值，并选择具有最大Z分值的基线图像。
47.根据权利要求45所述的方法，其中: 至少在具有图形处理单元(GPU)的装置中进行比较步骤；以及 用于生成标量函数的像素的倍增在GPU的多个处理器中同时发生。
48.根据权利要求45所述的方法，其中生成所述标量函数的步骤包括: 基于所述基线图像和所述新图像的下采样图像生成所述标量函数，其中所述下采样图像包括比原始基线图像和新图像的所有像素少的像素。
49.根据权利要求48所述的方法，其中选择具有最大标量值的图像的步骤包括: 选择具有最大标量值的下采样基线图像； 在所选择的图像的多个运动排列处进一步操作所选择的下采样基线图像以生成第二基线图像组中的第二基线图像； 生成所述新图像和所述第二基线图像组中的每个第二基线图像中的相同位置的像素的第二标量值；以及 选择具有最大标量值的第二基线图像作为所选择的代表图像。
50.根据权利要求1所述的方法，其中数字地操作所述高分辨率基线图像的步骤包括过滤所述基线图像以辨别所述基线图像中的解剖特征和非解剖特征。
51.根据权利要求50所述的方法，其中所述过滤包括边缘检测。
52.根据权利要求50所述的方法，其中所述过滤包括: 在每个像素的预定邻域中应用邻域函数；以及 如果所述邻域函数的结果在预定阈值外，识别每个像素为解剖的像素。
53.根据权利要求50所述的方法，其中所述过滤包括: 在每个像素的预定邻域中应用邻域函数；以及 如果所述邻域函数的结果与预定查找表中的结果相对应，识别每个像素为非解剖的像素。
54.根据权利要求52和53所述的方法，其中所述邻域函数选自标准偏差、梯度以及标准偏差和梯度的复合函数的一个或多个。
55.根据权利要求54所述的方法，其中所述邻域函数应用至限定为以每个像素为中心的预定大小的网格的邻域。
56.根据权利要求55所述的方法，其中所述网格是5个像素乘以5个像素。
57.根据权利要求55所述的方法，其中所述网格是3个像素乘以3个像素。
58.根据权利要求50所述的方法，其中数字地操作所述高分辨率基线图像的步骤包括: 生成与所述图像中的非解剖特征相对应的掩模； 将所述掩模应用至所述基线图像以生成所述非解剖特征被移除的修改的基线图像。
59.根据权利要求13所述的图像处理装置，其中: 所述处理器是具有多个处理器的图形处理单元(GPU);以及 所述软件指令包括逐像素地进行所述图像之间的比较，所述多个处理器的每个同时进行所述图像中的不同像素的比较。
60.根据权利要求45所述的方法，其中所述标量函数选自点积、关联系数、平均绝对误差和均方差。
61.根据权利要求45所述的方法，其中获取亮度值的步骤包括: 用户在所述新图像中选择一个或多个感兴趣的区域；以及 通过所述新图像和基线图像中的像素与所述感兴趣的区域的距离缩放所述新图像和基线图像中的像素。
62.根据权利要求1所述的方法，其中所述基线图像和新图像的一个或两个由多个连续图像被平均而得到。
63.根据权利要求1所述的方法，其中: 获取高分辨率基线图像的步骤包括在连续时间内获取相同解剖结构和相同基线方向的多个高分辨率基线图像；以及 数字地操作的步骤包括操作所有的所述多个基线图像。
64.根据权利要求1所述的方法，其中: 比较步骤包括从所述代表图像与所述新图像之间的区别生成图像差分；以及合并步骤包括选择性地将所述差分图像叠加至所述合并图像、代表图像和新图像的一个或多个。
65.根据权利要求64所述的方法，其中所述合并步骤包括在叠加之前增强所述差分图像。
66.根据权利要求11所述的方法，其中所述预定的阈值选自像素亮度的标准偏差、梯度和标准偏差和梯度的复合函数的一个或多个。
67.根据权利要求19所述的方法，其中所述预定的阈值选自像素亮度的标准偏差、梯度和标准偏差和梯度的复合函数的一个或多个。
68.根据权利要求42所述的方法，其中所述预定的阈值选自像素亮度的标准偏差、梯度和标准偏差和梯度的复合函数的一个或多个。
69.根据权利要求1所述的方法，其中比较步骤包括选择具有可接受的关联度的连续的图像组以在一个或多个连续迭代中进行下采样从而发现最终的代表图像。
70.根据权利要求69所述的方法，其中所述下采样图像是增加所述图像中的逐渐减小的感兴趣区域中的分辨率的图像。
【文档编号】G06K9/00GK104025119SQ201280060069
【公开日】2014年9月3日 申请日期:2012年10月5日 优先权日:2011年10月5日
【发明者】罗伯特·E·艾萨克斯, 塞缪尔·莫里斯·约翰斯顿 申请人:塞伏瑞斯派恩公司