图像引导外科手术中的近红外信息与彩色图像的组合的制作方法

相关申请的交叉引用

本申请要求2018年12月5日提交的名称为“combiningnear-infraredinformationwithcoloredimagesinimage-guidedsurgery”的美国临时申请号62/775,462的权益。前述申请的公开内容通过引用以其整体并入本文。

本公开涉及内窥镜外科手术系统中使用的近红外(nir)成像。

背景技术：

正在开发微创外科手术系统以减小经受外科手术干预的患者所经历的创伤。这些系统只需要小的切口并且外科医生使用像相机一样的棒和器械来执行规程。除了减小创伤，这种类型的遥控操作系统增加外科医生的灵巧性并且允许外科医生从远程位置对患者进行操作。遥控外科手术是其中外科医生使用某种形式的远程控制(例如伺服机构等)来操纵外科手术器械移动而不是直接用手保持和移动器械的外科手术系统的总称。在此类遥控外科手术系统中，通过显示设备向外科医生提供外科手术部位的图像。基于通过显示设备接收的视觉反馈，外科医生通过操纵主控制输入设备(继而控制遥控机器人器械的运动)对患者执行外科手术规程。

技术实现要素：

在一个方面，本文档的特征在于一种方法，该方法包括接收表示使用与外科手术设备相关联的多传感器相机的第一传感器和第二传感器来捕获的信息的数据。第一传感器和第二传感器被配置为捕获由光源照射的包括生物组织的外科手术场景，光源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。该方法还包括接收表示使用多传感器相机的第三传感器来捕获的信息的数据，第三传感器被配置为捕获由近红外(nir)光源照射的外科手术场景；以及由一个或多个处理设备基于表示使用第一传感器和第二传感器来捕获的信息的数据来生成外科手术场景的第一视觉表示。该方法还包括由一个或多个处理设备将第一视觉表示与使用第三传感器来捕获的信息组合以生成外科手术场景的第二视觉表示；以及在与外科手术设备相关联的显示设备上呈现外科手术场景的第二视觉表示。

在另一个方面，本文档的特征在于一种方法，该方法包括接收表示使用与外科手术设备相关联的具有至少三个传感器的相机的第一传感器和第二传感器来捕获的信息的数据。第一传感器和第二传感器被配置为捕获由第一源和第二源照射的包括生物组织的外科手术场景，第一源和第二源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。该方法还包括由一个或多个处理设备使用表示使用第一传感器和第二传感器来捕获的信息的数据来估计表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的数据，第三源被配置为发射对应于第三传感器的感测能力的可见光谱中的波长。该方法还包括使用以下项来生成外科手术场景的视觉表示：(i)表示使用第一传感器和第二传感器来捕获的信息的数据，以及(ii)表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的预测数据；以及在与外科手术设备相关联的显示设备上呈现外科手术场景的视觉表示。

在另一个方面，本文档的特征在于一种成像系统，其包括使用一个或多个处理设备来实现的图像生成器。成像系统被配置为接收表示使用与外科手术设备相关联的多传感器相机的第一传感器和第二传感器来捕获的信息的数据，第一传感器和第二传感器被配置为捕获由光源照射的包括生物组织的外科手术场景，光源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。图像生成器还被配置为接收表示使用多传感器相机的第三传感器来捕获的信息的数据，第三传感器被配置为捕获由近红外(nir)光源照射的外科手术场景。图像生成器还被配置为基于表示使用第一传感器和第二传感器来捕获的信息的数据来生成外科手术场景的第一视觉表示，将第一视觉表示与使用第三传感器来捕获的信息组合以生成外科手术场景的第二视觉表示，以及致使在与外科手术设备相关联的显示设备上呈现外科手术场景的第二视觉表示。

在另一个方面，本文档的特征在于一种成像系统，其包括使用一个或多个处理设备来实现的图像生成器。图像生成器被配置为接收表示使用与外科手术设备相关联的具有至少三个传感器的相机的第一传感器和第二传感器来捕获的信息的数据，第一传感器和第二传感器被配置为捕获由第一源和第二源照射的包括生物组织的外科手术场景，第一源和第二源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。图像生成器还被配置为使用表示使用第一传感器和第二传感器来捕获的信息的数据来估计表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的数据，第三源被配置为发射对应于第三传感器的感测能力的可见光谱中的波长。图像生成器还被配置为使用以下项来生成外科手术场景的视觉表示：(i)表示使用第一传感器和第二传感器来捕获的信息的数据，以及(ii)表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的预测数据；以及在与外科手术设备相关联的显示设备上呈现外科手术场景的视觉表示。

在另一个方面，本文档包括一个或多个机器可读存储设备，其上编码有计算机可读指令，该计算机可读指令用于致使一个或多个处理设备执行各种操作。操作包括接收表示使用与外科手术设备相关联的多传感器相机的第一传感器和第二传感器来捕获的信息的数据，第一传感器和第二传感器被配置为捕获由光源照射的包括生物组织的外科手术场景，光源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。操作还包括接收表示使用多传感器相机的第三传感器来捕获的信息的数据，第三传感器被配置为捕获由近红外(nir)光源照射的外科手术场景；以及基于表示使用第一传感器和第二传感器来捕获的信息的数据来生成外科手术场景的第一视觉表示。操作还包括将第一视觉表示与使用第三传感器来捕获的信息组合以生成外科手术场景的第二视觉表示；以及在与外科手术设备相关联的显示设备上呈现外科手术场景的第二视觉表示。

在另一个方面，本文档包括一个或多个机器可读存储设备，其上编码有计算机可读指令，该计算机可读指令用于致使一个或多个处理设备执行各种操作。操作包括接收表示使用与外科手术设备相关联的具有至少三个传感器的相机的第一传感器和第二传感器来捕获的信息的数据，第一传感器和第二传感器被配置为捕获由第一源和第二源照射的包括生物组织的外科手术场景，第一源和第二源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长。操作还包括使用表示使用第一传感器和第二传感器来捕获的信息的数据来估计表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的数据，第三源被配置为发射对应于第三传感器的感测能力的可见光谱中的波长；使用以下项来生成外科手术场景的视觉表示：(i)表示使用第一传感器和第二传感器来捕获的信息的数据，以及(ii)表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的预测数据；以及在与外科手术设备相关联的显示设备上呈现外科手术场景的视觉表示。

上述方面的实施方式可以包括以下特征中的一者或多者。

光源可以包括：第一源和第二源，该第一源和第二源被配置为发射分别对应于第一传感器和第二传感器的感测能力的波长；以及第三源，该第三源被配置为发射对应于第三传感器的感测能力的波长。可以将第三源停用而不照射外科手术场景。生成外科手术场景的第一视觉表示可以包括根据表示使用第一传感器和第二传感器来捕获的信息的数据，预测表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的数据；以及根据以下项生成外科手术场景的第一视觉表示：(i)表示使用第一传感器和第二传感器来捕获的信息的数据，以及(ii)表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的预测数据。生成第二视觉表示可以包括确定表示使用第三传感器来捕获的信息的数据指示在外科手术场景处存在荧光染料；以及响应于确定表示使用第三传感器来捕获的信息的数据指示存在荧光染料而组合(i)第一视觉表示和(ii)表示使用第三传感器来捕获的信息的数据。生成第二视觉表示可以包括根据第一视觉表示生成去饱和的视觉表示，以及将去饱和的视觉表示与表示使用第三传感器来捕获的信息的数据组合。生成去饱和的视觉表示可以包括使用非线性颜色映射来处理第一视觉表示。第一传感器和第二传感器可以包括滤光器以使分别对应于红光和蓝光的波长通过。第三传感器可以包括滤光器以使对应于绿光的波长通过。可以响应于在显示设备上呈现外科手术场景的视觉表示而接收用户输入，其中用户输入涉及在外科手术场景处操作外科手术设备。相机可以设置在外科手术设备中。

本文描述的一些或全部实施例可以提供以下优点中的一者或多者。标准三传感器相机(例如，rgb相机)的一个或多个传感器可以用于同时捕获nir图像与可见范围中的图像。使用可见范围传感器中的一者以用于nir感测可以消除对单独nir传感器的需要，由此防止与附加传感器相关联的分辨率降低。基于传感器的子集生成全色可见范围图像的近似，并将这样的全色图像与nir图像一起显示可以允许荧光的可视化，而不必在可见范围模式和nir模式之间切换。在一些情况下，这可以允许外科医生在查看nir图像的同时继续执行外科手术，由此潜在地改善从nir图像收集的信息的价值。通过用所检测的荧光的强度自适应地调整颜色映射，可以控制外科手术场景的显示表示中的颜色过渡以防止显示可以引起外科医生混淆的非自然颜色。

附图说明

图1是计算机辅助遥控操作外科手术系统的示例患者侧推车的透视图。

图2是计算机辅助遥控操作外科手术系统的示例外科医生控制台的前视图。

图3是计算机辅助遥控操作外科手术系统的示例机器人操纵器臂组件的侧视图。

图4是标准近红外(nir)图像的示例。

图5是用于实现本文所述的技术的示例系统的框图。

图6a和图6b分别是全色图像和使用用于生成全色图像的传感器的子集来生成的图像的示例。

图7是将nir图像与全色图像的近似组合的视觉表示的示例。

图8示出了在将近似全色图像与nir图像的表示组合时的色度调整轨迹的示例。

图9是用于呈现将nir图像与全色图像的近似组合的视觉表示的示例过程的流程图。

具体实施方式

本文档描述了促进nir图像(例如，表示来自诸如吲哚青绿(icg)的染料的荧光的图像)与表示全色图像的近似的可见范围图像一起并行显示的技术。本文档中使用的术语全色图像是指在可见范围中的光照射下使用多传感器相机(例如rgb相机)来捕获的图像。利用使用多传感器相机的传感器子集捕获的信息来生成近似全色图像。在一些情况下，本文所述的技术可以促进nir图像与几乎全色可见外科手术图像(而不是典型地在nir成像中使用的黑白图像)的并行呈现，而无需使用专门的相机和/或显示设备。在一些情况下，这可以允许外科医生在实时观看nir信号时继续外科手术规程，这对于黑白图像来说可能是挑战性的。本文描述的技术还促进了非线性颜色映射，当叠加在近似全色图像上时，该非线性颜色映射有助于改善nir图像的可视化。

主要根据使用由加利福尼亚州桑尼维尔市(sunnyvale,california)的直觉外科公司(intuitivesurgical,inc.)开发的(da)外科手术系统的实施方式来描述该技术的各个方面。此类外科手术系统的示例是xi^tm(daxi^tm)外科手术系统(型号is4000)。应当理解，本文公开的方面可以以各种方式来体现和实现，包括计算机辅助、非计算机辅助以及手动和计算机辅助的实施例和实施方式的混合组合。外科手术系统(例如，型号is4000)上的实施方式是为了说明性目的而描述的，并且不应被认为是限制本文公开的本发明方面的范围。在适用的情况下，本发明方面可以在相对较小的手持的手动设备和具有附加机械支撑的相对较大系统中以及在计算机辅助遥控操作医疗设备的其他实施例中体现和实现。虽然主要参考对等(peer-in)显示器的示例来描述该技术，但该技术也可以用于其他类型的可穿戴或不可穿戴显示设备，例如在虚拟或增强现实(vr/ar)系统中使用的头戴式显示设备。所捕获的图像也可以显示在大格式显示器上，诸如像3d电视的设备，或者图像投影到某种屏幕上并且由佩戴眼镜的用户观看，该眼镜通过确保正确图像到达正确眼睛来完成立体效果。可替换地，可以使用自动立体类型的显示器，例如基于透镜的lcd类型的显示器，其也可以合并观看者(用户)的头部和/或眼睛跟踪。

参考图1和图2，用于微创计算机辅助遥控外科手术(也称为mis)的系统可以包括患者侧推车100和外科医生控制台50。遥控外科手术是其中外科医生使用某种形式的远程控制(例如伺服机构等)来操纵外科手术器械移动而不是直接用手保持和移动器械的外科手术系统的总称。可机器人操纵的外科手术器械可以通过小的、微创的外科手术孔插入，以治疗患者体内的外科手术部位处的组织，从而避免与开放外科手术所需的相当大的切口相关联的创伤。这些机器人系统可以移动外科手术器械的工作端部，具有足够的灵巧性来执行相当复杂的外科手术任务，通常是通过在微创孔处枢转器械的轴、使轴沿轴向滑动穿过孔、使轴在孔内旋转等。

在所描绘的实施例中，患者侧推车100包括基部110、第一机器人操纵器臂组件120、第二机器人操纵器臂组件130、第三机器人操纵器臂组件140和第四机器人操纵器臂组件150。每个机器人操纵器臂组件120、130、140和150可枢转地联接到基部110。在一些实施例中，可以包括少于四个或多于四个机器人操纵器臂组件作为患者侧推车100的一部分。虽然在所描绘的实施例中，基部110包括脚轮以允许易于移动，但在一些实施例中，患者侧推车100固定地安装到地板、天花板、手术台、结构框架等。

在典型应用中，机器人操纵器臂组件120、130、140或150中的两者保持外科手术器械并且第三者保持立体内窥镜。剩余的机器人操作臂组件可用于使得可以在工作部位处引入第三器械。可替换地，剩余的机器人操纵器臂组件可以用于将第二内窥镜或另一个图像捕获设备(诸如超声换能器)引入工作部位。

机器人操纵器臂组件120、130、140和150中的每一者常规地由联接在一起并通过可致动关节操纵的连杆形成。机器人操纵器臂组件120、130、140和150中的每一者包括设置臂和设备操纵器。设置臂定位其保持的设备，使得枢轴点出现在进入患者的入口孔处。然后，设备操纵器可以操纵其保持的设备，使得其可以围绕枢转点枢转、插入入口孔中和从入口孔缩回，并且围绕其轴的轴线旋转。

在所描绘的实施例中，外科医生控制台50包括立体对等显示器45，使得用户可以从与患者侧推车100结合使用的立体相机所捕获的图像中以立体视觉观看外科手术工作部位。在立体对等显示器45中提供左目镜46和右目镜47，使得用户可以分别用用户的左眼和右眼观看显示器45内的左显示屏和右显示屏。当典型地在合适的观看器或显示器上观看外科手术部位的图像时，外科医生通过操纵主控制输入设备(继而控制机器人器械的运动)对患者执行外科手术规程。

外科医生控制台50还包括左输入设备41和右输入设备42，用户可以分别用他/她的左手和右手抓取该左输入设备和右输入设备以便以优选地六个或更多自由度(“dof”)操纵由患者侧推车100的机器人操纵器臂组件120、130、140和150保持的设备(例如，外科手术器械)。在外科医生控制台50上提供具有脚趾控件和脚跟控件的脚踏板44，使得用户可以控制与脚踏板相关联的设备的移动和/或致动。

为了控制和其他目的，在外科医生控制台50中提供处理设备43。处理设备43执行医疗机器人系统中的各种功能。由处理设备43执行的一个功能是转换和传递输入设备41、42的机械运动以致动其相关联的机器人操纵器臂组件120、130、140和150中的其对应关节，使得外科医生可以有效地操纵设备(诸如外科手术器械)。处理设备43的另一个功能是实现本文所述的方法、交叉联接控制逻辑和控制器。

处理设备43可以包括一个或多个处理器、数字信号处理器、现场可编程门阵列(fpga)和/或微控制器，并且可以被实现为硬件、软件和/或固件的组合。而且，如本文所述的其功能可以由一个单元执行或被划分在多个子单元之间，每个子单元可以依次通过硬件、软件和固件的任何组合来实现。此外，尽管被显示作为外科医生控制台50的一部分或在物理上邻近该外科医生控制台50，但处理设备43也可以作为子单元分布在整个遥控外科手术系统中。子单元中的一者或多者可以在物理上远离遥控外科手术系统(例如，位于远程服务器上)。

还参考图3，机器人操纵器臂组件120、130、140和150可以操纵诸如内窥镜立体相机和外科手术器械的设备以执行微创外科手术。例如，在所描绘的布置中，机器人操纵器臂组件120可枢转地联接到器械保持器122。套管180和外科手术器械200继而可释放地联接到器械保持器122。套管180是中空管状构件，其在外科手术期间位于患者接口部位处。套管180限定腔，内窥镜相机(或内窥镜)或外科手术器械200的细长轴220可滑动地设置在腔内。如下文进一步描述的，在一些实施例中，套管180包括具有体壁牵开器构件的远端部分。器械保持器122可枢转地联接到机器人操纵器臂组件120的远端。在一些实施例中，在器械保持器122和机器人操纵器臂组件120的远端之间的可枢转联接是可使用处理设备43从外科医生控制台50致动的机动关节。

器械保持器122包括器械保持器框架124、套管夹具126和器械保持器托架128。在所描绘的实施例中，套管夹具126固定到器械保持器框架124的远端。套管夹具126可以被致动以与套管180联接或脱离。器械保持器托架128可移动地联接到器械保持器框架124。更具体地，器械保持器托架128沿着器械保持器框架124可线性平移。在一些实施例中，器械保持器托架128沿着器械保持器框架124的移动是可由处理设备43致动/控制的机动平移移动。外科手术器械200包括传输组件210、细长轴220和末端执行器230。传输组件210可以与器械保持器托架128可释放地联接。轴220从传输组件210向远侧延伸。末端执行器230设置在轴220的远端处。

轴220限定与套管180的纵向轴线一致的纵向轴线222。当器械保持器托架128沿着器械保持器框架124平移时，外科手术器械200的细长轴220沿着纵向轴线222移动。以这种方式，末端执行器230可以插入患者身体内的外科手术工作空间和/或从该外科手术工作空间缩回。

腹腔镜外科手术可以需要外科医生用内窥镜观看外科手术部位并用腹腔镜器械执行精细的马达操纵，以进行探查、解剖、缝合和其他外科手术任务。这些任务通常需要与组织进行精细的双手交互。在一些情况下，当向外科医生呈现外科手术场景的3d视图时，这种双手马达任务(motortasks)通常可以更容易地执行。患者身体内的外科手术工作空间(外科手术场景)可以经由立体显示器45作为3d可视化呈现给外科医生。虽然本文描述的技术主要使用对等立体显示器的示例，但其他类型的立体和非立体显示器也在该技术的范围内。对等立体显示器是指允许用户查看显示器而不必佩戴它或者同时与另一个用户共享的显示器。立体显微镜可以是对等立体显示器的示例。如图2所示的立体显示器45是对等立体显示器的另一个示例。

在一些实施方式中，立体显示器45可以被配置为向外科医生呈现nir图像。为此，向患者或受试者施用诸如icg的染料，并且在nir激发信号下对染料的位置进行成像。染料(诸如icg)产生在nir激发下可以检测到的荧光。在显示器上呈现nir图像可以包括生成对应外科手术区域的图像，并且在其上叠加由icg产生的荧光信号的表示。外科手术区域的图像被显示为黑白图像，并且荧光信号通常以绿色显示在黑白图像的顶部上。图4中示出了这样的nir图像400的示例。虽然诸如图像400的nir图像在可视化icg在受试者中的位置方面是有效的，但不建议外科医生在这种模式下操作，因为由于基础图像为黑白，组织结构的正确可视化可能受到损害。因此，外科医生可能必须从nir模式切换到可见范围成像模式(例如，标准白色光模式)以继续操作，但切换回nir模式以观察荧光，其在可见范围成像模式中是不可观察的。在一些情况下，这种来回切换是耗时的，并且不允许外科医生在执行外科手术规程时实时观察荧光。

此外，在可见范围成像的同时实现nir成像可能影响所捕获图像的空间分辨率或帧速率。例如，如果在用于感测荧光的传感器阵列中使用单独(separate)nir传感器，则由单独nir传感器占据的基板面(realeatate)影响可见范围图像的空间分辨率。另一方面，如果可见范围传感器中的一者(例如，rgb传感器阵列中的“绿色”传感器)用于感测荧光，则可能需要在可见光和nir激发之间交替的脉冲式照射。这继而可以将帧速率降低一半。在与图像传感器一起使用全局快门的一些情况下，所捕获的帧的一半可能不可用，从而使有效帧速率变为原始帧速率的1/4。

本文描述的技术部分源于这样的认识，即对于当使用特定频率范围内的照射来激发时典型地在外科手术部位处遇到的组织，由一些传感器或像素捕获的信息与由一个或多个其他传感器或像素捕获的信息高度相关。例如，对于rgb传感器阵列，观察到在可见范围内的照射下由绿色传感器捕获的信息与使用蓝色传感器或像素来捕获的信息高度相关。这继而允许根据使用蓝色传感器来捕获的信息预测绿色信道信息。此外，因为绿色传感器对nir激发也是敏感的，并且可以不需要用于捕获可见范围内的绿色信道信息，因此绿色传感器可以用于与可见范围信息并行地捕获nir诱导荧光。基于上述，本文所述的技术允许与表示nir诱导荧光的信息并行地捕获可见范围信息，以及通过基于使用一个或多个其他传感器(例如，在该示例中，蓝色信道)捕获的信息预测信道中的一者(例如，rgb图像的绿色信道)来生成外科手术部位的全色图像的近似。然后，荧光信号可以叠加显示在近似全色图像上，从而允许nir可视化与外科手术部位的彩色图像并行。在一些情况下，这允许通过避免在不同模式之间来回切换的需要来改善外科医生的用户体验。

图5是用于实现本文所述的技术的示例系统500的框图。系统500包括照射外科手术场景510的光源505。使用多传感器相机515来感测从外科手术场景510反射、折射或透射的光，并将其提供给图像生成器520。图像生成器包括多个子部分，诸如可见范围图像生成器525、nir信号生成器530，以及将可见范围图像生成器525和nir信号生成器530的输出进行组合的组合器引擎535。图像生成器的输出被提供给显示设备540，该显示设备540呈现外科手术场景510的视觉表示。在一些实施方式中，显示设备540被设置为以上参考图2描述的立体显示器45的一部分。

多传感器相机515可以具有各种类型。在一些实施方式中，多传感器相机515包括rgb传感器阵列，其中用于三个不同波长范围的传感器(用于感测可见光谱的“红色”部分中的光的r传感器、用于感测可见光谱的“绿色”部分中的光的g传感器和用于感测可见光谱的“蓝色”部分中的光的b传感器)以诸如拜耳图案的图案布置。在一些情况下，整个阵列被称为图像传感器，而阵列中的各个传感器被称为像素。对应于r、g和b传感器的像素可以基本上相同，其中波长特定灵敏度由放置在各个像素或传感器上的对应颜色像素提供。

在一些实施方式中，光源505包括在对应于多传感器相机中的传感器的波长范围中激发外科手术场景510的多个电磁能量源。例如，在该特定示例中，光源505包括第一源505a，其发射的波长在从外科手术场景510反射/折射/透射后优先由r传感器517a感测。在该示例中，光源505还包括第二源505b，其发射的波长在从外科手术场景510反射/折射/透射后优先由b传感器517b感测。在一些实施方式中，光源505还可以包括第三源505c，其发射的波长在从外科手术场景510反射/折射/透射后优先由g传感器517c感测。然而，在使用其他信道中的信息来预测/估计对应于一个或多个传感器517的信道的实施方式中，可以从光源505中省略(或关闭)对应光源。在该特定示例中，因为根据由r传感器517a和b传感器517b捕获的信息估计/预测预期由g传感器517c捕获的信息(在由对应源505c照射时)，所以对应源505c被标记为×。在一些实施方式中，各个光源505a、505b、505c(505总体)可以包括被配置为发射对应波长范围中的光的发光二极管(led)。

在一些实施方式中，当使用可见范围中的源(例如，源505a、505b和505c)来照射解剖组织时，观察到使用b传感器517b(这里也称为蓝色信道)来捕获的信息和使用g传感器517c(这里也称为绿色信道)来捕获的信息为显著相关的。例如，当蓝色和绿色信道信号受血液吸收特性支配时，可以观察到这样的相关性。例如，当蓝色信道中的信号增加时，绿色信道中的信号也很可能增加。相反，当蓝色信道中的信号减少时，绿色信道中的信号也很可能减少。在一些实施方式中，一个信道中的变化可以与另一个信道基本上成比例。在一些实施方式中，一个信道中的变化可以与另一个信道中的对应变化具有非线性关系。在任何情况下，基于用于组织成像的这种观察，基础相关性可以用于基于另一个相关信道中的信息来预测/估计一个信道中的信号。在该特定示例中，根据由b传感器517b感测的信息预测/估计预期由g传感器517c感测的信息。因此，g传感器517c不再需要测量可见光谱中的信号。相反，因为g传感器517c在nir范围中也表现出显著敏感性，所以这种敏感性可以用于测量响应于由nir源505d激发而从染料(例如，icg)发射的荧光信号。

在一些实施方式中，调整光源505以支持使用可见范围传感器来感测nir信号。例如，当g传感器517c用于测量nir信号，并且b传感器517b和r传感器517a用于测量可见光谱中的对应范围中的信号时，可以通过关闭源505c(例如，绿色led)来相应地调整光源505，使得g传感器517c不拾取任何可见绿光。相反，接通nir源505d。在这些操作条件下，b源505b、r源505a和nir源505d并行照射外科手术场景510。相应地，在多传感器相机515处，由b传感器517感测的信息用于预测可见绿色信号，并且可以从由g传感器517c感测的信息中提取表示icg的位置的荧光信号。

一旦根据由b传感器517c感测的信息预测了绿色信号，并且从由g传感器517c感测的信号提取了荧光信号，就生成组合的视觉表示以例如通过立体显示器45呈现给外科医生。这可以例如在图像生成器520处完成。在一些实施方式中，图像生成器520可以包括一个或多个功能模块或引擎，其中的每一者可以被实现为软件和硬件的组合。例如，图像生成器520可以包括被配置为生成真全色图像的近似的可见范围图像生成器525。在一些实施方式中，可见范围图像生成器525被配置为通过利用与蓝色信道中的信息(如使用b传感器517b来感测)的相关性来预测绿色信道中的预期信息。然后，绿色信道的预测信息可以与针对蓝色和红色信道感测的信息一起使用以生成近似全色图像的视觉表示。在一些实施方式中，当根据一个或多个其他信道预测信道时，可以监测前者信道的饱和度水平。例如，如果信道中的一个信道饱和超过阈值达特定像素，则至少因为过饱和信道对于预测不同信道而言可能不可靠，所以这些像素可以被掩蔽而不显示。

在一些实施方式中，因为r传感器517a和b传感器517b也可以检测一些nir信号，所以图像生成器520可以被配置为预处理从多传感器相机515接收的信号以将nir信息与r信道信息和b信道信息分离。这可以例如使用颜色变换矩阵来完成，该颜色变换矩阵将传感器517a和517b的输出映射到输出颜色空间，其中由于nir激发而引起的分量被分离。例如，颜色变换矩阵可以被配置为将传感器输出从rgb颜色空间变换到r’b’nir颜色空间，其中r’和b’表示传感器输出中的不受nir激发影响的分量。例如，可以仅使用红色和蓝色照射来生成这样的颜色变换矩阵(由此迫使绿色传感器的输出为零)。在一些实施方式中，输出颜色空间可以是基于极坐标的颜色空间，诸如yuv颜色空间。

对于其中绿色信道信息与蓝色信道信息高度相关的特定类型的图像，所生成的视觉表示可以非常类似于全色图像。这使用图6a和图6b的示例来示出，其分别示出了相同外科手术场景的全色图像和近似全色图像。在这些示例中，近似全色图像(图6b)与真全色图像(图6a)非常相似，并且除了微小的差异(例如，分别由图6a和图6b中的区域605和610之间的差异所示)之外，几乎彼此相同。

在一些实施方式中，使用多传感器相机515的传感器的子集来生成的近似全色图像可以用作基础图像，荧光信息被叠加在该基础图像上。这可以使用nir信号生成器530来实现，该nir信号生成器从g传感器517c的输出信号中提取荧光信息，并且将所提取的信息提供给组合器引擎535，该组合器引擎535将该信息与由可见范围图像生成器525生成的视觉表示组合。在一些实施方式中，nir信号生成器530提供关于由g传感器517c检测到的荧光的位置的信息，并且组合器引擎535被配置为在由可见范围图像生成器525生成的近似全色视觉表示的对应部分上叠加绿色阴影的表示。由组合器引擎535输出的组合的视觉表示被呈现在显示设备540上。在图7中示出了这种组合的视觉表示的示例，其示出了叠加在近似全色图像上的荧光相关绿色。当呈现给外科医生时，此类图像允许外科医生与对应组织的颜色并行地可视化荧光。在一些情况下，这可以允许外科医生在实时观看荧光时继续操作，并且不必切换到不同模式。

在一些实施方式中，组合器引擎535可以被配置为执行附加图像处理以改善呈现给外科医生的视觉表示的质量。在一些情况下，简单地在近似全色图像上添加或叠加绿色阴影可以导致使整体图像的部分显得不自然的颜色过渡。例如，随着绿色的水平增加以表示增加的icg浓度，红色肝脏可以看起来从红色到橙色到黄色到绿色。在一些情况下，这可以使检测肝脏中的低水平的icg具有挑战性，因为绿色可能在icg水平达到阈值量之前是不可见的。在一些实施方式中，可以使用在检测到icg的检测时触发的非线性颜色映射来解决该问题。在使用这种映射时，不只是在检测到icg的部分处向现有颜色添加绿色，而是在添加绿色时将现有颜色去饱和为黑白。在一些实施方式中，这可以通过允许对应部分从原始颜色直接过渡到绿色来防止混淆的颜色过渡。例如，可以使表示肝脏中的icg的位置的图像的一部分从红色过渡到绿色，而没有临时的颜色过渡。

在一些实施方式中，组合器引擎535可以被配置为通过调整对应视觉表示的色度值来组合可见范围图像生成器525和nir信号生成器530的输出。在一些实施方式中，亮度值可以保持不变，例如，以防止最终视觉表示的亮度/质量的降低。图8示出了用于在将图像与nir信号的表示810组合时调整两色图像(或由可见范围图像生成器525生成的近似全色图像)的色度分量(uv)的示例轨迹。

图9是用于呈现将nir图像与全色图像的近似进行组合的视觉表示的示例过程900的流程图。在一些实施方式中，过程900的至少一部分可以例如由以上参考图5描述的图像生成器520的一个或多个处理设备执行。过程900的操作包括接收表示使用与外科手术设备相关联的多传感器相机的第一传感器和第二传感器来捕获的信息的数据，该第一传感器和第二传感器被配置为捕获由光源照射的包括生物组织的外科手术场景，该光源被配置为发射分别对应于第一传感器和第二传感器的感测能力的可见光谱中的波长(910)。在一些实施方式中，第一传感器和第二传感器可以是以上参考图5描述的多传感器相机515的传感器(例如，分别为r传感器517a和b传感器517b)。对应地，光源可以包括同样参考图5描述的一个或多个源505。第一源和第二源可以被配置为发射分别对应于第一传感器和第二传感器的感测能力的波长。例如，如果第一传感器是r传感器517a，并且第二传感器是b传感器517b，则第一源可以被配置为发射可见光谱的“红色”部分中的光，并且第二源可以被配置为发射可见光谱的“蓝色”部分中的光。在一些实施方式中，第三源可以被配置为发射对应于第三传感器的感测能力的波长。例如，第三源可以基本上类似于源505c(图5)，其被配置为发射可见光谱的“绿色”部分中的光，对应于g传感器517c的感测能力。

过程900的操作还包括接收表示使用多传感器相机的第三传感器来捕获的信息的数据，该第三传感器被配置为捕获由近红外(nir)光源照射的外科手术场景(920)。在一些实施方式中，光源可以包括第三源，该第三源被配置为发射对应于第三传感器的感测能力的波长。例如，第三源可以基本上类似于源505c(图5)，其被配置为发射可见光谱的“绿色”部分中的光，对应于g传感器517c的感测能力。然而，当第三传感器用于捕获由nir源照射的外科手术场景时，对应的第三源可以被停用而不照射外科手术场景。

过程900的操作还包括基于表示使用第一传感器和第二传感器来捕获的信息的数据来生成外科手术场景的第一视觉表示(930)。这可以包括，例如，根据表示使用第一传感器和第二传感器来捕获的信息的数据，预测表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的数据。这还包括，根据以下项生成外科手术场景的第一视觉表示：(i)表示使用第一传感器和第二传感器来捕获的信息的数据，以及(ii)表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的预测数据。在一些实施方式中，表示在第三源照射外科手术场景时预期由第三传感器捕获的信息的数据可以表示上述绿色信道信息，其可以根据红色信道信息和蓝色信道信息(分别表示使用第一传感器和第二传感器来捕获的信息)中的一者或多者来预测。

过程900的操作还包括将第一视觉表示与使用第三传感器来捕获的信息组合以生成外科手术场景的第二视觉表示(940)。在一些实施方式中，第三传感器可以基本上类似于g传感器517c(以上参考图5描述)，其用于感测由nir源(例如，参考图5描述的源505d)照射的外科手术场景。在一些实施方式中，生成第二视觉表示包括确定表示使用第三传感器来捕获的信息的数据指示在外科手术场景处存在荧光染料，以及作为响应，组合(i)第一视觉表示和(ii)表示使用第三传感器来捕获的信息的数据。在一些实施方式中，生成第二视觉表示还可以包括根据第一视觉表示生成去饱和的视觉表示，以及将去饱和的视觉表示与表示使用第三传感器来捕获的信息的数据组合。生成去饱和的视觉表示可以包括使用非线性颜色映射来处理第一视觉表示。

过程900的操作还包括在与外科手术设备相关联的显示设备上呈现外科手术场景的第二视觉表示。在一些实施方式中，显示设备可以被设置为以上参考图2描述的立体显示器45的一部分。过程900的操作还可以包括响应于在显示设备上呈现外科手术场景的视觉表示而接收用户输入。这样的用户输入可以涉及在外科手术场景处操作外科手术设备。例如，相机设置在外科手术设备中，并且基于显示设备上呈现的视觉反馈，外科医生可以操纵设备以在外科手术场景处执行外科手术过程。

本文描述的遥控操作外科手术系统的功能或其部分及其各种修改(以下称为“功能”)可以至少部分地经由计算机程序产品(例如有形地体现在信息载体(诸如一个或多个非暂时性机器可读介质或存储器设备)中的计算机程序)来实现，用于由一个或多个数据处理装置(例如，可编程处理器、dsp、微控制器、计算机、多个计算机和/或可编程逻辑部件)执行或控制其操作。

计算机程序可以以任何形式的编程语言编写，包括编译的或解释的语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、部件、子程序或适合在计算环境中使用的其他单元。计算机程序可以被部署为在一个部位处或者分布在多个位置并通过网络互连的一个或多个处理设备上执行。

与实现全部或部分功能相关联的动作可以由执行一个或多个计算机程序以执行本文所述过程的功能的一个或多个可编程处理器或处理设备来执行。全部或部分功能可以实现为专用逻辑电路，例如fpga和/或asic(专用集成电路)。

例如，适用于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的部件包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。

虽然本说明书包含许多特定的实施方式细节，但这些不应被解释为对所要求保护的内容的限制，而是可以对特定实施例特有的特征的描述。其他实施例也可以在本文描述的技术的范围内。例如，虽然已经参考rgb传感器描述了该技术，但其他类型的传感器可以在本公开的范围内。此外，虽然传感器已经被描述为以拜耳图案布置，但其他布置也是可能的。例如，代替每组两个g传感器以及r和b传感器各一个(如在拜耳图案中)，在每组传感器中可以使用仅各一个r、g和b传感器。本说明书中在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分开地或以任何合适的子组合在多个实施例中实现。此外，尽管在本文中，特征可以被描述为在某些组合中起作用并且甚至最初这样要求保护，但一些情况下，来自所要求保护的组合的一个或多个特征可以从组合排除，并且所要求保护的组合可以指向子组合或子组合的变型。

本文所述的不同实施方式的元素可以组合以形成以上未具体阐述的其他实施例。在不会对它们的操作产生不利影响的情况下，可以将元素排除在本文所述的结构之外。此外，各种分开的元件可以被组合成一个或多个单独元件以执行本文所述的功能。