用于在临床图像上显示增强成像数据的方法和装置的制作方法

专利名称：用于在临床图像上显示增强成像数据的方法和装置的制作方法
技术领域：
本发明的实施例一般涉及显示医学图像。
背景技术：
微创医学技术旨在降低诊断或外科手术操作期间受到损害的无关组织的数量，由此缩短病人恢复时间、减小不适以及有害的副作用。使用微创外科手术技术还可以显著地缩短标准外科手术的平均住院期。因此，越来越多地采用微创技术仅在住院成本上每年即可以节约数百万住院天数，以及数百万美元。使用微创外科手术还可以缩短病人的恢复时间、减少病人不适、外科手术副作用以及脱离工作的时间。为观察外科手术位点，可将具有照射装置的内窥镜相机插入病人体内用来捕获外科手术位点的彩色图像。可以在监视器或显示器上将外科手术位点的彩色图像显示给外科医生。可以通过使用画中画(PIP)显示器将外科手术位点的其他图像信息同时显示给外科医生。其他图像信息对于外科医生改善外科手术结果可能是有用的。然而，PIP显示器太小以至于不能显示期望水平的细节信息。此外，使用分离的图像帧，外科医生在意识上将两个分离的图像或成像模式融合在一起可能是辛苦的。可替代地，可通过在显示器装置上显示的彩色图像和另一额外图像之间来回切换以将额外的图像信息全屏显示在该显示装置上。然而，在图像之间来回切换耗费时间并且结果使得外科手术效率降低。此外，外科医生可能不能切换回到白光成像并且在交替成像模式期间切割过多或意外损害重要的组织。期望的是提供更加高效和更加安全的微创外科手术。

发明内容
通过随附的权利要求来总结本发明的实施例。


本专利或申请文件包含绘制成彩色的至少一个图像。根据请求和支付必要费用， 具有一个或多个彩色图像的本专利或专利申请公开的副本将由专利局提供。图1是用于微创外科手术的成像系统的框图。图2是本发明实施例的多个方面的绘画示意图。图3是图示说明用于本发明实施例的成像方法的元件的流程图。图4A是图示说明捕获外科手术位点的可见白光彩色图像的彩色图。图4B是图示说明将图4A的可见白光彩色图像去饱和成为黑色和白色或灰阶去饱和图像的非彩色图像。图5A是图示说明在外科手术位点内捕获不可见光谱的数据并且形成特征性组织结构的图像的黑白图。图5B是图示说明对图5A的特征性组织结构着色从而形成彩色增强图像的图。
图6是图5B的彩色增强图像与临床图像结合(例如覆盖其上)的合并图像的显示图。图7是图示说明用于调整组分图像的亮度或合并图像中组分图像之间的相对亮度的用户界面的图。图8是图示说明可用来将外科手术位点彩色图像去饱和水平调整成去饱和图像的用户界面的图。不同附图中类似的参考编号与相同的或相似的元件相关联但可能具有不同的构型。
具体实施例方式具体实施方式
描述了说明本发明的示例性的实施方式，并且因此是说明性而不是限制性的。本发明仅受专利权利要求的限制。在附图中，一些元件已经被省略以便更清楚地显示本发明的实施例。导言本发明的实施例旨在改进在相同外科手术位点同时显示组织反射的白光图像，以及分离或同时地获得增强的组织图像的临床应用。增强的组织图像可以用多种技术捕获， 例如但不限于包含具有空间变化的临床信息的非可见光特征的近红外(OTR)荧光、可见光荧光、多光谱成像、荧光寿命成像、或光栅扫描。此外，增强的图像可以是通过叠加在临床白光图像上的不同类型可测量的组织参数的点测量值而构建的图像，所述组织参数例如组织阻抗、癌的点检测、或某些细胞类型。总体上在本发明的一个实施例中，公开了一种显示方法，其中可见的白光或彩色临床图像朝向一种灰度或黑/白图像被去饱和，代替彩色的反射白光图像而被显示给外科医生或临床医生。去饱和将红色、绿色、和蓝色色调推向灰色，由此从图像中去除彩色。使用一种或多种增强成像技术捕获关于临床图像的增强图像并且用在去饱和的白光图像中记录的一种或多种彩色以可见光谱表示。当一般肉眼不可见的增强信息以可见光谱表示时， 它是伪彩色的。用于着色增强图像的伪彩色的示例(也称为增强色)是但不限于绿色、蓝色、以及紫色，它们可用于以非可见电磁谱表示一种或多种类型的信号，所述信号通过增强图像中的增强成像技术被检测。彩色形式的增强图像被记录成去饱和的白光临床图像并且与去饱和的临床图像合并、添加其上、或叠加在其顶部(可替代地称为与其组合)。这两个图像通过合并图像的方式被组合并被显示给外科医生，从而增加临床相关信息量，并且改善外科手术期间外科手术位点的彩色增强图像中低信号水平的可检测性。当将临床图像去饱和时，图像中的彩色信息被去除，但是细节很少丢失。该去饱和临床图像足以辨别骨骼、组织标记、以及外科手术器械，使得允许对其进行安全操作。此外与增强型图像相比，使用去饱和临床图像不存在损失(由于白光临床图像的彩色表示的干扰)。重叠在该去饱和的临床图像上的彩色增强图像提供了关于外科手术位点的改进的信息含量，从而降低了对病人造成损伤的风险并提高了外科手术效率。可将彩色增强的图像重叠到具有预设相对亮度的去饱和的临床图像上，以在组织的可视图像上强调关于组织的非可视信息的增强的信息。可替代地，可提供一个用户界面装置，例如一个滑动型控制器，用来允许将这两个图像合并，这样可连续改变这两个图像相对亮度。通过这种合并模式调整相对亮度允许用户调整重叠亮度以便使将被执行任务的临床要求与增强的成像信息相匹配。例如，当寻找细的、淡的线时，用户可朝向增强型图像更强地加重相对亮度。例如，当切除增强图像中明亮地发光的大块时，可朝向去饱和的白光图像更强地加重相对亮度图像。成像系统现在参考图1，图示说明了用于微创外科手术的成像系统100的框图。成像系统 100包括内窥镜相机101，视像控制推车102，以及联接在一起的外科医生控制台104，如所示。内窥镜相机101包括用于可拆卸地联接到病人侧操纵器的机器人臂111上的机械接口，这样它可以在病人外科手术位点的周围移动。内窥镜相机101被机器人臂111支撑在病人的体腔内的外科手术位点210上，用来捕获其中的数字图像。视像控制推车102包括照射器112、图像处理器114、核心处理器116、以及监视器 118。内窥镜相机101被联接至照射器112上以接收可见光(VL)并且将它引导出它的尖端进入外科手术位点，从而可见地照射组织以便用彩色或光谱相机捕获。内窥镜相机101还可被联接至照射器112以接收非可见光电磁辐射(NVE)并且将它引导出它的尖端进入外科手术位点，从而激发一种物质对组织发出荧光进而用传感器或光谱相机捕获。内窥镜相机 101响应于可见光(VL)捕获外科手术位点内组织的一帧或多帧彩色可见图像(VI)并且将其联接到图像处理器114中。内窥镜相机101还可响应于非可见电磁辐射(NVE)捕获外科手术位点内来自该组织的非可见空间编码数据的一帧或多帧并且将数据联接到图像处理器114中。为了立体成像，内窥镜相机101是用来同时捕获外科手术位点左侧和右侧图像的立体相机。虽然可使用内窥镜相机101及其传感器来捕获光学不可见(例如近红外，紫外)图像，但也可使用其他成像设备以及技术来捕获其他非可见光谱数据，例如但不限于分光镜数据(spectroscopic data)、拉曼散射数值、阻抗数据、双光子荧光、超声、γ辐射和/或X射线图像，它们的数据可被表示为可见光谱且与去饱和的图像组合的图像。另外， 覆盖整个图像的全部或一部分的光可被捕获并且被分析用来产生临床相关的二维OD)图像。这些2D图像可捕获从光特性中提取的特征例如偏振、散射、以及与光和组织相互作用相关的其他类似特征，其中可以通过多种临床相关标志物将该组织放大。增强的图像可以是针对一系列可见图像计算出的图像。例如，可以使用一系列图像来计算血流量，然后将它表示成2D图像。照射器112可响应于从核心处理器116收到的控制信号126产生可见光(VL)(在可见电磁辐射谱内产生的光)以及非可见电磁辐射(NVE)。照射器112可响应于控制信号同时产生可见光(VL)以及非可见电磁辐射(NVE)，从而与捕获非可见光谱数据且形成增强图像的帧同步地捕获彩色可见图像(VI)的帧。可替代地，照射器112可响应于控制信号交替产生可见光(VL)以及非可见电磁辐射(NVE)，用于与捕获非可见光谱数据并且形成增强图像的帧不同步地捕获彩色可见图像(VI)的帧。可通过一个或多个光纤或光纤束将可见光(VL)和非可见电磁辐射(NVE)联接至内窥镜相机101。类似地，在外科手术位点内捕获可见组织的全色可见图像(VI)经由光纤被联接到图像处理器114中或被传感器捕获并且通过线缆联接到图像处理器中。外科手术位点内组织的非可见光谱数据还可经由光纤联接到图像处理器114中或被传感器捕获并且通过线缆联接到图像处理器中。由一个或多个传感器捕获的电磁辐射可以二进制(bin) 输出成为可见的红色、绿色、蓝色EM光谱以及不可见的EM光谱(例如，近红外)。图像处理器114包括用来处理捕获图像的一个或多个处理器P120和用于存储图像数据的一帧或多帧的一个或多个存储装置(例如存储器)M122。对于立体成像，图像处理器114可包括用于处理左侧和右侧捕获的图像的一对处理器P120和用于存储左侧和右侧图像帧的一对存储装置(例如存储器)M122。在增强显示模式下，图像处理器114的一个或多个处理器P120可对数字图像数据的每一帧进行像素操作从而执行在此公开的图像处理和显示方法。图像处理器114接收来自核心处理器116的命令125并且将图像IM联接至核心处理器116用于在外科医生控制台104的显示器140上显示和/或控制推车102的监视器118上显示。可替代地，核心处理器116可接收数字图像并且执行数字图像数据每帧的像素操作从而执行在此公开的图像处理和显示方法。外科医生控制台104可经过光纤线缆1 联接至核心处理器116用于数字控制和图像信息的高速连通。外科医生控制台104可以包括立体显示装置140，以将左侧和右侧立体图像显示给外科医生。根据在此公开的显示方法，立体显示设备140可以显示左侧和右侧合并图像。关于微创外科手术系统的其他信息可以例如在以下文献中找到于2007年6月 13日由David Q. Larkin等人提交的名称为“微创外科手术系统”(MINIMALLY INVASIVE SURGEON SYSTEM)的美国专利申请号11/762，165 ；以及于2001年12月18日授予Tierney 等人的名称为“外科手术机器人工具、数据构造、以及用途”(SURGICAL ROBOTIC TOOLS, DATA, ARCHITECTURE, AND USE)的美国专利号6，331，181，通过引用将它们两者并入本文。照射非可见特征性组织结构现在参考图2，图示说明了本发明实施例多个方面的绘图。内窥镜101可包括一个或多个光纤201A-201B，用来引导和发射可见光(VL)和非可见电磁辐射(NVE)进入外科手术位点210中。内窥镜101可包括用于捕获可见光谱中电磁辐射的传感器202A，例如相机。 传感器202A可以是用于捕获可见立体彩色图像的立体彩色相机。内窥镜101可进一步包括用于捕获不可见光谱中的电磁辐射或正常地肉眼不可见的其他类型信息(例如超声)的另一传感器202B。例如，传感器202B可以是用于捕获外科手术位点OTR增强图像的近红外(NIR)检测器。可替代地，内窥镜101可以是用于引导可见光以及非可见光谱数据返回至病人体外多个外部传感器/相机的管道。外科手术位点210包括当用可见光照射时可以反射白光或彩色图像的组织212。 外科手术位点210还具有当用可见电磁谱中的光线照射时肉眼不可见的特征性组织结构 213，214。可通过具有或不具有发荧光性、发射性、示踪性、或反射性材料(总称为生物标记)的不可见电磁辐射(NVE)来照射多种不可见特征性组织结构213，214。在一些情况下，这些不可见特征性组织结构可以是生物化学地标记有发荧光的、发射性、示踪性、或反射性材料或化合物(统称为生物标记)，它们可被可见光或电磁辐射(VL)或非可见电磁辐射(NVE)激发，从而它可通过可见光相机或传感器来捕获。在其他情况下，一些不可见特征性组织结构可以用发荧光、发射性、示踪性、标记性、或反射性材料/化合物(统称为生物标记)生物化学地标记，通过不可见电磁辐射(NVE)来激发，从而它发射不可见电磁辐射 (NVE)的波长并且通过对该波长敏感的传感器捕获。能够以多种途径将用反射的白光不可见的组织变成可成像的。例如，可通过注射流体或用发荧光性、发射性、示踪性物质、染料或化合物(统称为生物标记)标记病人的组织，并且用电磁辐射对它照射或将它暴露于电磁辐射下，来将用反射的白光不可见的组织变成可成像的。生物标记中的荧光团标记一种分子使得它吸收激发波长附近的EM辐射并且重新发射发射波长附近的EM辐射。发荧光性材料或化合物(生物标记)的一个示例是吲哚菁绿(ICG)，该物质发荧光从而当用近红外(NIR)电磁辐射激发时以非可见波长发射光子或电磁辐射。存在多种荧光化合物，它们可用于标记在希望的激发波长下激发并且在希望的发射波长下发射的感兴趣组织。可以使用示例性荧光团、发射体、示踪物、标志物等 (统称为生物标记)，它们被列出在本说明结尾的表中。还可以通过注射一种结合到特定组织类型上并且同时发射EM辐射的物质、染料、 或化合物(统称为生物标记)将用反射的白光不可见的组织变成可成像的，例如在正电子发射断层成像(PET)中使用的一种放射性药物或放射示踪剂。可使用可见EM光谱外的其他成像源211(例如，X射线、超声)来照射一些不可见特征性组织结构214 (例如骨组织)并且使用或不使用生物标记捕获增强的图像，从而与可见组织的临床图像组合。例如，在无生物标记的外科手术期间可以在外科手术位点内用X 射线来捕获骨组织。作为另一个实例，可用超声在外科手术期间捕获外科手术位点内次表面(sub-surface)的组织，无需添加荧光性、发射性、示踪性、标记性或反射性物质/化合物 (统称为生物标记)。通过可见光，人眼可以察觉的电磁辐射光谱(VL)的可见部分中的电磁辐射照射可见组织212。照射线可以由白光形成，该白光可以是宽光谱的或可以是若干离散的窄光谱彩色的混合，包括原色红(R)、绿(G)、以及蓝(B)中的一个或多个。电磁辐射谱的可见部分波长范围从约400纳米(nm)至700nm。特征性组织结构标记有能被可见光激发的荧光性、 发射性、示踪性、标记性、或反射性物质或化合物(统称为生物标记)，如果它发荧光或发射可见电磁辐射谱，则可被相机或可见光传感器捕获。特征性组织结构213，214(用反射白光不可见)还可以用可见EM光谱外人的肉眼不能察觉的电磁辐射谱(NVE)的下侧不可见部分或上侧不可见部分中的电磁辐射进行标记和照射。电磁辐射谱的下侧不可见部分和上侧不可见部分位于电磁辐射谱的可见部分之夕卜。电磁辐射谱的上侧不可见部分波长范围从约400纳米(nm)至十分之一埃(A)，包括、 射线、X射线，以及紫外电磁辐射。电磁辐射谱下侧不可见部分波长范围从约600纳米(nm) 至10米(m)，包括红外(近红外、热红外、远红外)、微波、以及无线电波。在一些情况中近红外EM辐射(波长范围约600nm至1200nm之间)可以是优选的，因为与可见光谱相比较， 在这些波长下许多生物组织更透明，使得标记有生物标记的表面下面的组织特征或结构可以更易成像。使用被不可见电磁辐射激发的荧光性或反射性物质或化合物，在反射的白光图像中不可见的组织可以发荧光并且发射在不可见电磁谱中的EM辐射。对不可见电磁辐射敏感的传感器可捕获处于不可见电磁谱中的EM辐射，从而允许构建增强的图像用于可见光谱中的显示。可替代地，如果被不可见电磁辐射激发的荧光性或反射性物质或化合物可以发射可见电磁谱中的某些EM辐射，则它可以被可见光谱中敏感的相机或传感器捕获。尽管如此，来自外科手术位点的不可见光谱中不可见信息被捕获并且表示于可见光谱中的数字图像中。本发明的实施例一般将在电磁谱的可见部分中捕获的组织图像去饱和，通过着色将在电磁谱的不可见部分中捕获的组织图像移动到电磁谱的可见部分中，并且将这些着色的图像组合或重叠到这些去饱和的图像上从而形成合并图像用于在显示设备上显示。例如，被可见电磁谱中光线照射并且被彩色相机捕获的可见组织212的图像朝向灰度、黑/白、或单色图像212'被去饱和(将它的彩色减少)。可见组织图像212的每个像素中红色、绿色、蓝色数据朝向灰度或黑/白可被同等地减少。在可见光谱图像中不可见的不可见特征性组织结构213可被不可见电磁照射线照射并且被传感器捕获。捕获的数据可通过形成增强图像来增强并且然后用第一可见彩色将它着色从而形成第一着色增强图像。例如，可以通过用绿色将其着色将在可见光谱中不可见的该特征性组织结构213移动到可见电磁谱中从而形成绿色增强图像213'。在可见光谱中不可见的特征性组织结构214可以被不可见电磁照射装置照射并且被一个传感器捕获。然后可以通过形成增强图像来增强捕获的数据，并且然后用第二可见彩色将其着色 (例如第二可见彩色)，从而形成第二彩色增强图像。例如，可以通过用蓝色将其着色将该不可见特征性组织结构214移动到可见电磁谱中从而形成蓝色增强图像214'。可将绿色增强图像213'和蓝色增强图像214'重叠到灰度或黑色和白色图像212'上从而形成外科手术位点210的合并图像250。可见组织212可以是表面组织而各种非可见组织213，214可以是在表面组织下面的次表面组织。结果，当被捕获时次表面组织的图像可以是模糊的并且伸展开。调整相对亮度或去饱和水平可以用于补偿模糊的图像。显示方法现在参考图3，流程图以增强的显示模式图示说明了成像方法的元素。在捕获不同类型的增强图像的情况下，图3中显示的一个或多个元素在执行成像方法中是任选的。该方法在处理块300处开始并且前往处理块302。在处理块302处，可将可激发的物质引入病人体内，它可以被处于上侧不可见电磁谱或下侧不可见电磁谱中的电磁(EM)辐射激发。可替代地，引入的物质可同时发射EM 辐射，例如Y射线，而无需外部激发。然后该过程可以前往处理块304。在处理块304处，用可见光或处于可见电磁谱中的电磁辐射例如白光照射病人体内的外科手术位点。然后该过程前往处理块306。在处理块306处，响应于可见电磁辐射用传感器例如彩色CMOS (互补性金属氧化物半导体)相机捕获病人体内外科手术位点的彩色临床图像。图4A图示说明了用彩色CMOS 相机捕获的彩色临床图像400A。彩色临床图像400以彩色方式包括可见组织402，一对可见机器人外科手术工具404A-404B，以及反射处于可见电磁谱中的光线的可见针和缝线406。 然后该过程前往处理块308。在处理块308处，病人体内的外科手术位点可使用上侧不可见电磁谱和下侧不可见电磁谱中的不可见电磁辐射照射或被暴露于其中。病人身体可被交替地或同时地用电磁辐射谱上可见电磁辐射和不可见电磁辐射两者照射或被暴露于其中。然后该过程可前往处理块310。在处理块310处，用于用病人身体形成外科手术位点增强图像的数据可响应于不可见电磁辐射使用传感器捕获。捕获的数据可称为不可见光谱数据。外科手术位点的可见图像和不可见光谱数据可被交替地或同时地捕获。例如，可见图像的帧以及用于形成增强图像的数据可在外科手术位点被交替地捕获。然后该过程前往处理块311。在处理块311处，增强的图像响应于不可见光谱数据由外科手术位点形成。图5A 图示说明了由从病人体内捕获的数据产生的外科手术位点的增强的图像500A。增强的图像 500A将被着色。增强的图像500A包括特征性组织结构502，例如组织表面下的血管，或其他标记的、激发的、或同时发射的组织。然后该过程可前往处理块312。在处理块312处，用预定去饱和水平将彩色临床图像400A去饱和(朝向黑色和白色减少彩色)成为去饱和图像。去饱和水平(彩色减少)可被改变。图4B图示说明了从图4A的彩色临床图像400A中减少彩色的去饱和临床图像400B。可见组织402'，可见工具404A' -404B'，以及可见针和缝线406‘在彩色上朝向黑色和白色或灰度减少。然后该过程前往处理块314。在处理块314处，用一种彩色将之前形成的增强图像着色从而形成彩色增强图像。图5B图示说明了彩色增强的图像500B。在彩色增强图像500B中该特征性组织结构 502用绿色进行着色。然后该过程前往处理块316。在处理块316处，去饱和图像400B和彩色增强图像500B的亮度被设定为第一水平相对亮度。去饱和图像的亮度和彩色增强图像的亮度可被独立地设定从而提供一个第一水平相对亮度。然后该过程前往处理块318。在处理块318处，彩色增强的图像与去饱和的图像组合(例如重叠到其上)从而形成合并图像。合并图像已经在单独的彩色临床图像添加了信息内容。该彩色强调了合并图像内彩色增强图像的信息。图6图示说明了合并图像600。合并图像600包括与去饱和组织特征402’结合的彩色增强图像500B的彩色特征性组织结构502'、工具404A' -404B'、以及去饱和图像 400B的针和缝线406'。可将彩色增强图像500B记录为去饱和图像400B，从而可以将它们组合在一起成为合并图像600。可以执行空间记录用来将彩色增强图像500B和去饱和图像400B组合在一起。如果这些图像具有不同的帧尺寸或方向，则可以计算不同数据源之间的坐标转换来提供空间记录。如果它们是不同步，还可执行时间记录从而将彩色增强图像500B和去饱和图像400B组合在一起。相对于时间不同步的图像帧可被同步到一起从而将彩色增强图像 500B和去饱和图像400B的帧相对时间适当地结合到一起。在将图像信息组合到一起之后， 则过程可前往处理块320。在处理块320处，将合并图像600显示在显示装置上例如外科医生控制台104的立体观察器140和/或不同的监视器或显示装置(例如，监视器181)。然后该过程可前往处理块322。在处理块322处，在合并图像600中去饱和图像400B以及彩色增强图像500B的亮度可被各自调整到一个相对亮度水平以便改变显示设备上显示的合并图像中信息含量。 可以使用软件和/或物理用户界面来调整去饱和图像400B和彩色增强图像500B每个的亮度或它们之间的相对亮度。针对每一帧一个或多个过程可以重复多次，用来将合并图像600连续地显示在显示设备上直至外科手术结束或不再需要彩色增强图像500B。在这种情况下，可以将该成像系统的显示方式切换返回至正常模式用来显示外科手术位点的彩色临床图像400A，而没有增强图像。然后增强显示模式过程可前往处理块399。在处理块399处，如果外科手术终止或这些过程不再重复，则该过程可以结束。相对于荧光图像可更具体地地说明一种替代显示方法。该替代显示方法可包括获得由可见光照射的外科手术位点的可视彩色图像；将外科手术位点的可见彩色图像去饱和成为可见灰色图像；获得外科手术位点中荧光组织的荧光图像，其中该荧光组织以可见彩色显示；并且产生一个可显示的图像，该图像包括可见的荧光图像和可见的灰色图像的组合。用户界面如前面提及的，可使用软件和/或物理的用户界面来支持增强的显示模式用于将去饱和图像和彩色增强图像组合一起并显示。可通过产生控制信号的用户界面开关的预定顺序选择在外科医生控制台选择性地进入增强的显示模式，例如通过在外科医生控制台104的左侧和右侧主手柄和/或脚踏板中的选择切换。可替代地，能够以MaMOiiasters-in-mice)模式通过主手柄选择菜单列表中菜单条款，该模式可以用于产生控制信号用来选择性进入增强显示模式。例如，可以使用于2009年3月9日由Paul Mohr等人提交的名称为“机器人外科手术系统中电子外科手术工具的用户界面，，(USER INTERFACES FOR ELECTRO SURGICAL TOOLS IN ROBOTIC SURGICAL) 的申请号12/400，738的申请中说明的主手柄开关来启动该成像系统的增强显示模式，其通过引用被并入本文。可以通过进入用户界面开关的预定顺序选择1秒钟时间来选择性启动增强显示模式，以产生控制信号以便返回外科手术位点彩色图像的正常显示模式。在增强显示模式下，可以提供用户界面来选择性地控制其特征。在增强显示模式中一些可控的特征包括彩色增强图像与去饱和图像之间相对亮度，和/或去饱和图像的去饱和水平。现在参考图7，显示器700被显示包括用于增强显示模式的用户界面701。用户界面701可包括增强显示图标702用于向使用者指示成像系统正处在什么显示模式下(正常或增强)。该用户界面可进一步包括用于调整去饱和图像与彩色增强图像之间相对亮度的合并滑动件704。在图7中，调整滑动件704用来显示更少的白光这样使得该彩色增强图像在显示器700中的去饱和图像上被强调。可替代地，可以将一对滑动件开关706-707提供于用户界面中用来分别地调整彩色增强图像的亮度以及去饱和图像的亮度从而实现各自之间希望的相对亮度。亮度调整设备可以产生控制信号用来针对在黑/白或灰度图像中形成多少白光进行去饱和图像的处理控制。可替代地，亮度调整装置可以产生控制信号用来控制照射装置112以便调整所产生白光的亮度水平用来在图像捕获期间对外科手术位点进行照射。现在参考图8，显示器800被显示包括类似于用户界面701的用户界面801，包括图标702以及相对亮度选择器704。除了针对参考图7中所描述的相对亮度的调整装置之外(例如滑动件704)，该用户界面801进一步包括针对彩色图像去饱和的用户界面调整装置。用户界面801可包括用于调整去饱和图像402'的去饱和水平的滑动件开关 804A。去饱和调整装置可产生控制信号用来控制从可见彩色图像到去饱和图像的处理，所述控制过程涉及通过减少每个像素中红色、绿色、蓝色(RGB)信息来从可见彩色图像中去除多少彩色。滑动件开关804A被设定使得图8中的显示器800用一些彩色但少于全色来显示去饱和图像402'。代替滑动件开关804A，可以使用上下按钮开关804B来调整去饱和图像402'中的去饱和水平。可替代地，可以使用可转动的旋钮804C来调整去饱和图像 402'中的去饱和水平。在任何情况下，公开了一种显示装置，该装置可以显示从体腔中在可见电磁(EM) 谱内捕获的组织的去饱和图像，以及与该去饱和图像组合的第一彩色增强图像。该第一彩色增强图像表示从体腔中在可见电磁谱外捕获的数据。可以设定去饱和图像和第一彩色增强图像之间相对亮度用来在可见电磁(EM)谱内捕获的组织上强调捕获数据从而为用户提供了改进的信息内容。结论公开的方法提供了白光图像的足够临床细节用来允许用户避免外科手术器械与组织的无意碰撞并且给出足够的标记用来防止外科医生失去解剖信息同时以如下方式提供了在增强图像中可供使用的信息的细节，即使得易于将增强的图像信息与白光图像中的细节区分开。本发明实施例的一个或多个元素可以在软件中实现从而使得可以使用机器例如处理器自动地完成一个或多个任务。当以软件执行时，本发明实施例的元素基本上是用于执行在此公开的方法的一个或多个任务的程序指令或编码区段。例如，机器可读介质可以在其上存储多个指令，当通过机器执行时这些指令使机器自动地执行多个操作包括减少病人体内在外科手术位点在可见电磁(EM)谱内捕获的组织的彩色图像中的彩色从而形成去饱和图像；使在外科手术位点捕获的不可见特征性组织结构在彩色增强图像中可见；以及将彩色增强图像和去饱和图像组合到一起从而形成组合的图像用于至少一个显示设备上显不。可以将这些程序指令或编码区段存储在处理器可读取的介质中用于被该处理器执行，例如图1中所示的处理器120或核心处理器116。该处理器可读取的介质可以包括可以存储信息的任何介质，例如图1中图示说明的存储器122。处理器可读介质的示例包括电子电路、半导体存储器器件、ROM、闪存、可擦除式ROM(EROM)、软盘、CD-ROM、光盘、硬盘等。 这些程序指令或编码区段可以通过计算机网络例如互联网、内部网等来下载。虽然本说明书包括多种具体方式，但这些不应被解释成对本公开或所要求权利的范围进行限制，而应解释成对本公开的具体实施方式
的特殊特征进行说明。在分离的实现方式的背景中在本说明书中说明的某些特征还能够以组合方式在单个实现方式中执行。相反地，在单个实施方式的背景中所述的多种特征还能够分开地或以子组合方式在多个实施方式中实施。然而，虽然在上面这些特征可被描述为以某些组合起作用或甚至如最初地所要求保护的，但在一些情况下来自要求组合的一个或多个特征可以与该组合分离，并且要求的组合可以是针对子组合或子组合的变体。所要求的发明仅受随附的专利权利要求的限制。
表
权利要求
1.一种用于微创外科手术系统的方法，所述方法包括将从病人体内的外科手术位点在可见电磁(EM)谱内捕获的组织的可见彩色图像去饱和成为去饱和图像；用可见彩色为表示从所述外科手术位点在可见电磁(EM)谱外捕获的数据的增强图像着色，从而形成彩色增强图像；以及将所述彩色增强图像和所述去饱和图像组合到一起，从而形成外科手术位点的合并图像以用于在显示设备上显示。
2.如权利要求1所述的方法，进一步包括将生物标记引入病人体内，所述标记能够用在可见电磁(EM)谱外的电磁辐射来激发； 用可见电磁(EM)谱内的可见光照射所述病人体内的所述外科手术位点； 响应于可见光捕获所述病人体内的所述外科手术位点的可见彩色图像；以及响应于将所述生物标记引入到病人体内，捕获所述外科手术位点的数据。
3.如权利要求2所述的方法，进一步包括在捕获数据之前，将所述病人体内的所述外科手术位点暴露于可见电磁(EM)谱外的电磁辐射以激发所述生物标记；以及其中进一步响应于所述生物标记的激发从所述外科手术位点捕获所述数据。
4.如权利要求3所述的方法，其中被引入病人体内的所述生物标记是吲哚菁绿；以及在可见电磁(EM)谱外的电磁辐射是用于激发吲哚菁绿发荧光并且发射电磁辐射的近红外线(NIR)。
5.如权利要求1所述的方法，进一步包括在组合之前，设定所述彩色增强图像与所述去饱和图像之间的第一相对亮度。
6.如权利要求4所述的方法，其中所述相对亮度是预定水平，以及所述可见彩色图像的去饱和处于预定去饱和水平之下。
7.如权利要求6所述的方法，进一步包括将所述彩色增强图像与所述去饱和图像之间的相对亮度的设定改变成第二相对亮度， 以改变在所述合并图像中的信息含量。
8.如权利要求6所述的方法，进一步包括改变去饱和水平以将所述外科手术位点的可见彩色图像去饱和，从而改变所述去饱和图像中的信息含量。
9.如权利要求8所述的方法，其中所述外科手术位点的所述可见彩色图像被完全去饱和从而去除全部彩色，以及所述去饱和图像是黑白图像。
10.如权利要求1所述的方法，其中所述增强图像是所述外科手术位点的光谱特征的近红外线(NIR)荧光图像、可见光荧光图像或光栅扫描中的一个，所述光谱特征包括具有空间变化的临床信息。
11.如权利要求1所述的方法，其中所述增强图像是由可测量的组织参数的点测量值形成。
12.如权利要求11所述的方法，其中所述可测量的组织参数是组织阻抗、癌细胞的点检测、或预定细胞类型的点检测。
13.如权利要求1所述的方法，其中所述彩色增强图像和所述去饱和图像的组合包括所述彩色图像与去饱和图像的时间和空间记录。
14.一种设备，包括 显示装置，其显示从体腔中在可见电磁(EM)谱内捕获的组织的去饱和图像；与所述去饱和图像组合的第一彩色增强图像，所述第一彩色增强图像表示从体腔中在可见电磁谱外捕获的第一数据；以及其中，设定所述去饱和图像和所述第一彩色增强图像之间的相对亮度，用来强调在可见电磁(EM)谱内捕获的组织上的所述第一数据从而提供改进的信息内容。
15.如权利要求14所述的设备，其中所述显示装置进一步显示与所述第一彩色增强图像以及所述去饱和图像组合的第二彩色增强图像，所述第二彩色增强图像表示从体腔中在可见电磁谱外捕获的第二数据，所述第二彩色增强图像具有与所述第一彩色增强图像不同的彩色；以及其中，设定所述去饱和图像和所述第二彩色增强图像之间的相对亮度，用来强调在可见电磁(EM)谱内捕获的组织上的所述第二数据。
16.如权利要求14所述的设备，进一步包括用户界面，其包括用来调整在所述显示装置上显示的所述去饱和图像和所述第一彩色增强图像之间的相对亮度的用户可选择装置。
17.如权利要求14所述的设备，进一步包括用户界面，其包括用于调整在所述显示设备上显示的所述去饱和图像的亮度的第一用户可选择装置以及用于调整在所述显示设备上显示的第二伪彩色图像的亮度的第二用户可选择装置。
18.如权利要求14所述的设备，其中用对可见电磁谱的波长范围敏感的传感器捕获组织的所述去饱和图像；以及用对可见电磁谱外的波长范围敏感的传感器捕获由所述第一彩色增强图像表示的数据。
19.如权利要求14所述的设备，其中所述去饱和图像的一部分包括体腔内外科手术工具的去饱和图像。
20.如权利要求14所述的设备，其中由所述第一彩色增强图像表示的数据响应于引入组织中的生物标记被捕获。
21.如权利要求20所述的设备，其中所述生物标记是吲哚菁绿(ICG)。
22.如权利要求14所述的设备，其中由所述第一彩色增强图像表示的数据用表面组织下的骨组织的X射线捕获。23.一种机器可读取的介质，其上已经存储了指令，当通过机器执行所述指令时导致所述机器执行如下操作，包括减少在病人体内在可见电磁(EM)谱内捕获的外科手术位点的组织的彩色图像中的彩色，从而形成去饱和图像；使在外科手术位点捕获的不可见特征性组织结构在彩色增强图像中可见；以及将所述彩色增强图像与所述去饱和图像组合到一起，从而形成组合的图像，用于在至少一个显示设备上显示。
23.如权利要求22所述的机器可读介质，其中 在可见电磁(EM)谱外捕获所述外科手术位点的所述不可见特征性组织结构。
24.如权利要求22所述的机器可读介质，其中通过伪彩色使得所述外科手术位点的所述不可见特征性组织结构在去饱和图像中捕获的组织上可见。
25.一种方法，包括获得被可见光照射的外科手术位点的可见彩色图像；将所述外科手术位点的可见彩色图像去饱和成为可见灰色图像；获得外科手术位点中的荧光组织的荧光图像，其中所述荧光组织以可见彩色显示；以及产生包括所述可见荧光图像与所述可见灰色图像的组合的可显示图像。
26.如权利要求25所述的方法，其中所述去饱和包括从所述可见彩色图像基本去除所有彩色，从而形成所述可见灰色图像。
27.如权利要求25所述的方法，其中获得所述荧光图像包括 将所述外科手术位点暴露于可见电磁谱外的电磁辐射下。
28.如权利要求25所述的方法，进一步包括用所述可见彩色将所述荧光图像中的所述荧光组织着色。
29.如权利要求25所述的方法，进一步包括 在显示装置上显示所述可显示图像；以及调整所述可见灰度图像和所述荧光图像中一者或两者的亮度水平。
30.如权利要求25所述的方法，进一步包括 在显示装置上显示所述可显示图像；以及调整所述可见彩色图像的去饱和水平。
全文摘要
在本发明的实施例中，一种设备包括显示装置。该显示装置显示从体腔中在可见电磁(EM)光谱内捕获的组织的去饱和图像；以及与该去饱和图像组合的第一彩色增强图像。该第一彩色增强图像表示从体腔中在可见电磁谱外捕获的第一数据。设定去饱和图像和第一彩色增强图像之间的相对亮度，从而在可见电磁谱内捕获的组织上强调第一数据进而提供改进的信息内容。
文档编号G06T5/50GK102576457SQ201080044928
公开日2012年7月11日 申请日期2010年9月30日 优先权日2009年10月7日
发明者C·J·莫尔, I·M·麦克度威尔, P·W·莫尔 申请人:直观外科手术操作公司