促进使用不同荧光成像剂的医学成像系统和方法与流程

相关申请

本申请要求于2018年11月30日提交的题目为“促进使用不同荧光成像剂的医学成像系统和方法(medicalimagingsystemsandmethodsthatfacilitateuseofdifferentfluorescenceimagingagents)”的美国临时专利申请号62/774,023的优先权，其内容通过引用以其整体并入本文。

背景技术：

一些医学成像系统被配置为在患者经历手术过程时捕获患者体内手术区域的荧光图像。荧光图像允许医务人员(例如，外科医生)在手术过程期间容易地识别手术区域内的细胞活动或结构(例如，血管系统)。

为了促进荧光成像，可以将荧光成像剂引入(例如，注射)到患者的血流或其他解剖特征中。荧光成像剂包括当暴露于由包括在医学成像系统中的荧光激发照明源生成的荧光激发照明时发出荧光照明的任何合适的染料、蛋白质或其他物质。医学成像系统可以捕获荧光照明并基于捕获的荧光照明提供荧光图像。

不同的荧光成像剂需要不同波长的荧光激发照明。例如，第一示例性荧光成像剂仅在当被具有约405纳米(“nm”)波长的荧光激发照明激发时才发荧光，而第二示例性荧光成像剂仅在当被具有约650纳米(“nm”)波长的荧光激发照明激发时才发荧光。

技术实现要素：

示例性医学成像系统包括可见光照明系统、荧光激发照明系统和与可见光照明系统和荧光激发照明系统通信连接的照明源控制单元，该可见光照明系统被配置为选择性地发射偏置为与第一颜色相关联的第一波长的第一可见光和偏置为与第二颜色相关联的第二波长的第二可见光中的一种；该荧光激发照明系统被配置为选择性地发射具有第三波长的第一荧光激发照明和具有第四波长的第二荧光激发照明中的一种，该第一荧光激发照明通过第一荧光成像剂引发荧光照明，第三波长更接近第一波长而不是第二波长，第二荧光激发照明通过第二荧光成像剂引发荧光照明，第四波长更接近第二波长而不是第一波长；该照明源控制单元被配置为选择性地引导可见光照明系统发射第二可见光和引导荧光激发照明系统发射与第一荧光成像剂一起使用的第一荧光激发照明，并且选择性地引导可见光照明系统发射第一可见光和引导荧光激发照明系统发射与第二荧光成像剂一起使用的第二荧光激发照明。

另一个示例性医学成像系统包括可见光照明系统、荧光激发照明系统、像素级宽带红外截止滤光片和窄带截止滤光片，该可见光照明系统被配置为选择性地发射偏置为与第一颜色相关联的第一波长的第一可见光和偏置为与第二颜色相关联的第二波长的第二可见光中的一种；该荧光激发照明系统被配置为选择性地发射具有第三波长的第一荧光激发照明和具有第四波长的第二荧光激发照明中的一种，该第一荧光激发照明通过第一荧光成像剂引发荧光照明，第三波长更接近第一波长而不是第二波长，第二荧光激发照明通过第二荧光成像剂引发荧光照明，第四波长更接近第二波长而不是第一波长；该像素级宽带红外截止滤光片覆盖第二像素，并且被配置为防止第二像素收集红外线；该窄带截止滤光片覆盖第一、第三和第四像素并且被配置为防止第一、第三和第四像素收集第一荧光激发照明和第二荧光激发照明中的至少一种。

另一个示例性医学成像系统包括可见光照明系统、荧光激发照明系统和与可见光照明系统和荧光激发照明系统通信连接的照明源控制单元，该可见光照明系统被配置为选择性地发射偏蓝可见光和偏红可见光中的一种；该荧光激发照明系统被配置为选择性地发射第一荧光激发照明和第二荧光激发照明中的一种，该第一荧光激发照明被配置为通过第一荧光成像剂引发荧光照明，第一荧光激发照明包括可见光范围的蓝色区域中的可见光，和第二荧光激发照明被配置为通过第二荧光成像剂引发荧光照明，第二荧光激发照明包括红外线；该照明源控制单元被配置为识别患者中使用的荧光成像剂，确定荧光成像剂为第一荧光成像剂，并且响应于确定荧光成像剂为第一荧光成像剂，选择性地引导可见光照明系统发射第二可见光，和引导荧光激发照明系统发射与第一种荧光成像剂一起使用的第一荧光激发照明。

示例性的照明源控制单元包括存储指令的存储器、处理器，该处理器与存储器、可见光照明系统和荧光激发照明系统通信连接，可见光照明系统被配置为选择性地发射偏置为与第一颜色相关联的第一波长的第一可见光和偏置为与第二颜色相关联的第二波长的第二可见光中的一种；荧光激发照明系统被配置为选择性地发射具有第三波长的第一荧光激发照明和具有第四波长的第二荧光激发照明中的一种，该第一荧光激发照明通过第一荧光成像剂引发荧光照明，第三波长更接近第一波长而不是第二波长，和第二荧光激发照明通过第二荧光成像剂引发荧光照明，第四波长更接近第二波长而不是第一波长；处理器被配置为执行指令以选择性地引导可见光照明系统发射第二可见光和引导荧光激发照明系统发射与第一荧光成像剂一起使用的第一荧光激发照明，并且选择性地引导可见光照明系统发射第一可见光，和引导荧光激发照明系统发射与第二荧光成像剂一起使用的第二荧光激发照明。

附图说明

附图说明了多种实施方式并且是说明书的一部分。所示出的实施方式仅仅是实例并且不限制本公开内容的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。

图1图示了根据本文所述原理的示例性医学成像系统。

图2示出了根据本文所述原理的示例性图像传感器。

图3a-4b示出了根据本文所述原理的示例性颜色滤光片布置。

图5示出了根据本文所述原理的颜色滤光片的光谱响应曲线。

图6a-6b图示了根据本文所述原理的滤光片配置。

图7示出了根据本文所述原理的颜色滤光片的光谱响应曲线。

图8a-10b示出了根据本文所述原理的示例性滤光片配置。

图11图示了根据本文所述原理的图像处理系统。

图12示出了可以由成像处理系统执行以根据本文所述原理选择性地生成全色图像和全色荧光图像的多种操作。

图13示出了根据本文所述原理叠加在图7所示的光谱响应上的窄带截止滤光片。

图14图示了根据本文所述原理的示例性计算机辅助手术系统。

图15图示了根据本文所述原理的示例性计算设备。

具体实施方式

本文描述了促进使用不同荧光成像剂的医学成像系统和方法。如下文将更详细地描述的，用于对患者的手术区域成像的示例性医学成像系统包括可见光照明系统和荧光激发照明系统。可见光照明系统被配置为选择性地发射偏置为与第一颜色相关联的第一波长的第一可见光和偏置为与第二颜色相关联的第二波长的第二可见光中的一种。荧光激发照明系统被配置为选择性地发射被配置为通过第一荧光成像剂引发荧光照明的第一荧光激发照明和被配置为通过第二荧光成像剂引发荧光照明的第二荧光激发照明中的一种。第一荧光激发照明具有更接近第一波长而不是第二波长的波长。第二荧光激发照明具有更接近第二波长而不是第一波长的波长。

在此配置中，与可见光照明系统和荧光激发照明系统通信连接的照明源控制单元可以在期望使用第一荧光成像剂的情况下选择性地引导可见光照明系统发射第二可见光和引导荧光激发照明系统发射第一荧光激发照明。同样地，照明源控制单元可以在期望使用第二荧光成像剂的情况下选择性地引导可见光照明系统发射第一可见光和引导荧光激发照明系统发射第二荧光激发照明。

例如，照明源控制单元可以接收识别在患者中使用的荧光成像剂的用户输入，确定荧光成像剂为第一荧光成像剂，并且响应于荧光成像剂为第一荧光成像剂的确定而引导可见光照明系统发射第二可见光和引导荧光激发照明系统发射第一荧光激发照明。可选地，在期望使用第二荧光成像剂的情况下，照明源控制单元可以接收识别在患者中使用的荧光成像剂的用户输入，确定荧光成像剂为第二荧光成像剂，并且响应于荧光成像剂为第二荧光成像剂的确定而引导可见光照明系统发射第一可见光和引导荧光激发照明系统发射第二荧光激发照明。

在一些实例中，可见光照明系统由配置为发射第一可见光的第一可见光照明源和配置为发射第二可见光的第二可见光照明源实施。可选地，可见光照明系统可由单个可调整的可见光照明源实施，该可见光照明源可被调整以发射第一可见光或第二可见光。

同样地，荧光激发照明系统可以由配置为发射第一荧光激发照明的第一荧光激发照明源和配置为发射第二荧光激发照明的第二荧光激发照明源实施。可选地，荧光激发照明系统可由单个可调整的荧光激发照明源实施，该荧光激发照明源可被调整以发射第一荧光激发照明或第二荧光激发照明。

下面的实例假设可见光照明系统由第一和第二可见光照明源实施，和荧光激发照明系统由第一和第二荧光激发照明源实施。

在该实例中，第一可见光照明源可以被配置为发射偏蓝可见光(即，具有蓝色成分多于绿色或红色成分的可见光)，和第二可见光照明源可以被配置为发射偏红可见光(即，具有红色成分多于绿色或蓝色成分的可见光)。第一荧光激发照明源被配置为发射波长为约405nm的荧光激发照明，该波长相对接近可见光范围的蓝色区域。第二荧光激发照明源被配置为发射波长为约650nm的荧光激发照明，该波长更接近可见光范围的红色区域而不是可见光范围的蓝色区域。

继续该说明，当期望使用响应于波长为405nm或接近405nm(接近蓝色区域)的荧光激发照明而发荧光的荧光成像剂时，照明源控制单元可以选择性地激活第一荧光激发照明源和第二可见光照明源(即配置为发射偏红可见光的可见光照明源)。照明源控制单元还可去激活第二荧光激发照明源和第一可见光照明源(或确保它们保持去激活)。如下文将更详细地描述，该配置可确保可见光不会被用于滤除荧光激发照明的窄带截止滤光片过度滤除。这又可能会产生更高质量(例如，更清晰)的彩色和荧光图像。

当期望使用响应于波长为650nm或650nm附近(接近红色区域)的荧光激发照明而发荧光的荧光成像剂时，照明源控制单元可以选择性地激活第二荧光激发照明源和第一可见光照明源(即，配置为发射偏蓝可见光的可见光照明源)。照明源控制单元还可去激活第一荧光激发照明源和第二可见光照明源(或确保它们保持去激活)。如下文将更详细地描述，该配置可确保可见光不会被用于滤除荧光激发照明的窄带截止滤光片过度滤除。这又可能会产生更高质量(例如，更清晰)的彩色和荧光图像。

本文所述的系统和方法的这些和其他优点和益处将在本文中变得明显。此外，涉及本文所述的系统和方法的另外的优点、益处和细节在与本申请同一天提交的，题目为“医学成像系统和方法(medicalimagingsystemsandmethods)”的共同未决的美国临时专利申请号62/774,041中进行了描述，其内容通过引用以其整体并入本文。

图1图示了示例性医学成像系统100，其被配置为捕获场景的图像。在一些实例中，场景可以包括与患者相关联的手术区域。在某些实例中，手术区域可以完全设置在患者体内并且可以包括患者内计划执行、正在执行或已经执行外科手术处或附近的区域。例如，对于在患者体内的组织上执行的微创外科手术，手术区域可以包括组织、组织下面的解剖以及组织周围的空间，例如用于执行外科手术的手术器械定位的位置。在其他实例中，手术区域可以至少部分地设置在患者体外。

如所示，医学成像系统100包括成像设备102和控制器104。医学成像系统100可以包括如可用于具体实施的另外的或可选的部件。例如，医学成像系统100可以包括多种光学和/或电信号传输部件(例如，电线、透镜、光纤、扼流电路、波导管等)、容纳电线和/或光纤以及被配置为互连成像设备102和控制器104等的电缆。

成像设备102可以由被配置为捕获场景图像的内窥镜或其他相机设备来实施。如所示，成像设备102包括摄像头106、连接到摄像头106并从其延伸离开的轴108、在轴108的远端处的图像传感器110(即，右侧图像传感器110-r和左侧图像传感器110-l)以及照明通道112。在图1的实例中，成像设备102是立体的。可选地，在其他实例中，成像设备102可以是单视场的(monoscopic)(例如，通过包括一个图像传感器110而不是两个图像传感器110)。

成像设备102可以被手动处理和控制(例如，由外科医生对患者执行外科手术)。可选地，摄像头106可以连接到计算机辅助手术系统的操纵臂，下面将提供其实例。在该配置中，可以使用机器人和/或远程操作技术来控制成像设备102。

轴108的远端可以位于或靠近要由成像设备108成像的场景。例如，轴108的远端可以插入患者体内。在该配置中，成像设备102可用于捕获患者体内的解剖和/或其他物体的图像。

图像传感器110每个都可以由任何合适的图像传感器实施，例如电荷耦合器件(“ccd”)图像传感器、互补金属氧化物半导体(“cmos”)图像传感器等。在一些实例中，如图1所示，图像传感器110定位在轴108的远端处。可选地，图像传感器110可定位在更靠近轴108近端、摄像头106内部或成像设备102外部(例如，在控制器104内部)。在这些可选配置中，轴108和/或摄像头106中包括的光学器件(例如，透镜、光纤等)可以将光从场景传送到图像传感器110。

图像传感器110被配置为检测(例如，捕获、收集、感测或以其他方式获取)光。例如，图像传感器110-r被配置为从右侧视角检测光，和图像传感器110-l被配置为从左侧视角检测光。在图1的实例中，图像传感器110检测到的光包括从位于场景内的物体反射的可见光。然而，如本文将描述的，图像传感器110可以另外地或可选地检测由位于场景内的荧光成像剂发射的红外荧光照明。如下文将说明的，图像传感器110可以将检测到的光转换成表示一个或多个图像的数据。本文所述了图像传感器110的示例性实施。

照明通道112可由一个或多个光学部件(例如，光纤、光导、透镜等)实施。如下文将描述的，可以通过照明通道112来提供照明以照亮场景。

控制器104可以由被配置为控制成像设备102和/或与成像设备102接口的任何合适的硬件和软件组合来实施。例如，控制器104可以至少部分地由包括在计算机辅助手术系统中的计算设备来实施。

控制器104包括相机控制单元(“ccu”)114、可见光照明系统116和荧光激发照明系统118。在一些实例中，ccu114和/或照明系统116和118可选地包括在成像设备102中(例如，在摄像头106中)。

ccu114被配置为控制图像传感器110的多种参数(例如，激活时间、自动曝光等)。如下文将描述的，ccu114可以被进一步配置为接收和处理来自图像传感器110的图像数据。而图1中将ccu114显示为单个单元，ccu114可以可选地由被配置为控制右侧图像传感器110-r的第一ccu和被配置为控制左侧图像传感器110-l的第二ccu来实施。

可见光照明系统116被配置为选择性地生成和发射可见光，该可见光选择性地偏置为多个波长(即，颜色)中的一种。例如，可见光照明系统116可以被配置为选择性地生成和发射可见光120-1和可见光120-2。

可见光120-1和120-2均可包括一种或多种颜色分量。例如，可见光120-1和120-2均可包括白光，该白光包括全光谱的颜色分量(例如，红色、绿色和蓝色分量)。红色分量的波长大约在635到700nm之间。绿色成分的波长大约在520到560nm之间。蓝色分量的波长在大约450到490nm之间。

可见光120-1和120-2均被偏置为包括比另一种颜色分量更多的一种颜色分量。例如，可见光120-1被偏置为与第一颜色相关联的第一波长，使得可见光120-1包括比第二和第三颜色更多的第一颜色。同样，可见光120-2被偏置为与第二颜色相关联的第二波长，使得可见光120-2包括比第一和第三颜色更多的第二颜色。在本文提供的实例中，可见光120-1偏蓝(即偏置为包括比绿色或红色更多的蓝色)和可见光120-2偏红(即偏置为包括比绿色或蓝色更多的红色)。

虽然可见光照明系统116在图1中被示为选择性地生成和发射两种不同偏置的可见光120，但可见光照明系统116可以选择性地生成和发射任意数量的不同偏置的可见光。例如，可见光照明系统116可以被进一步配置为生成和发射偏绿的可见光(即，偏置为包括比红色或蓝色更多的绿色)。

荧光激发照明系统118被配置为选择性地生成和发射不同偏置的荧光激发照明。例如，荧光激发照明系统118可以选择性地生成和发射荧光激发照明122-1或荧光激发照明122-2。

荧光激发照明122-1和122-2具有不同的波长。因此，荧光激发照明122-1和122-2被配置为通过不同的荧光成像剂引发荧光照明。例如，荧光激发照明122-1可以具有如下波长，使得荧光激发照明122-1通过第一荧光成像剂(而不是第二荧光成像剂)引发荧光照明。相比之下，荧光激发照明122-2可以具有如下波长，使得荧光激发照明122-2通过第二荧光成像剂(而不是第一荧光成像剂)引发荧光照明。引发的荧光照明可由本文所述的任何图像传感器检测并用于生成指示多种细胞活动或结构(例如实时血管系统)的荧光图像。

在一些实例中，荧光激发照明122-1和122-2中的至少一种包括红外线。换言之，荧光激发照明122-1和122-2中的至少一种具有在红外线区域中的波长。红外线区域包括从700nm(红色可见光区域的边缘)左右到1毫米左右的波长。更具体地，荧光激发照明122-1和122-2中的至少一种可以具有包括在近红外线区域中的波长，该近红外线区域在红外线区域中并且包括从大约700nm到大约950nm的波长。例如，荧光激发照明122-1和122-2中的一种可以具有803nm左右的波长。作为另一个实例，荧光激发照明122-1和122-2中的一种可以具有785nm左右的波长。

在一些实例中，荧光激发照明122-1和122-2中的至少一种包括可见光。例如，荧光激发照明122-1和122-2中的一种可以具有405nm左右的波长，其接近可见光范围的蓝色区域。作为另一个实例，荧光激发照明122-1和122-2中的一种可以具有650nm左右的波长，其接近可见光范围的红色区域。

虽然图1中示出荧光激发照明系统118发射两种不同偏置的荧光激发照明122，但荧光激发照明系统118可以发射任意数量的不同偏置的荧光激发照明。例如，荧光激发照明系统118可以被配置为生成和输出红外线或可见光。

可见光照明系统116和荧光激发照明系统118均可通过硬件和软件的任何合适组合来实施。

例如，可见光照明系统116可以由配置为发射可见光120-1的第一可见光照明源和与第一可见光照明源分离并配置为发射可见光120-2的第二可见光照明源实施。可选地，可见光照明系统116可由单个可调整的可见光照明源实施，该可见光照明源可被调整以发射可见光120-1或可见光102-2。这种调整可以以任何合适的方式执行。

同样，荧光激发照明系统118可以由配置为发射荧光激发照明122-1的第一荧光激发照明源和配置为发射荧光激发照明122-2的第二荧光激发照明源来实施。可选地，荧光激发照明系统118可由单个可调整的荧光激发照明源实施，该荧光激发照明源可被调整以发射荧光激发照明122-1或荧光激发照明122-2。这种调整可以以任何合适的方式进行。

可见光120和荧光激发照明122可以作为照明124传送，该照明124通过照明通道112行进到轴108的远端，在此处照明124离开以照亮场景。因此，照明124可以包括如可用于具体实施的可见光120和荧光激发照明122的任何组合。

为了捕获场景的一个或多个图像，可见光照明系统116和/或荧光激发照明系统118可以被引导以发射照明124，其经由照明通道112行进到场景。在照明124包括可见光的情况下，图像传感器110检测从场景中的一个或多个表面反射的照明124。在照明124包括荧光激发照明的情况下，图像传感器110可以另外地或可选地检测由荧光激发照明引发的荧光照明。

图像传感器110(和/或包括在成像设备102中的其他电路)可以将检测到的照明转换成代表场景的一个或多个图像的图像数据124。例如，图像传感器110-r输出代表从右侧视角捕获的图像的图像数据124-r，和图像传感器110-l输出代表从左侧视角捕获的图像的图像数据124-l。图像数据124可以具有任何合适的格式。

图像数据124从图像传感器110传输到ccu114。图像数据124可以通过图像传感器110和ccu114之间的任何合适的通信链路传输。例如，图像数据124可以通过包括在互连成像设备102和控制器104的电缆中的电线传输。

ccu114可以处理(例如，分包和/或格式化)图像数据124并且输出处理的图像数据128(例如，对应于图像数据124-r的经处理的图像数据128-r和对应于图像数据124-l的经处理的图像数据128-l)。经处理的图像数据128可被传输到图像处理系统，该图像处理系统可准备经处理的图像数据128以在一个或多个显示设备上显示(例如，以视频内容和/或一个或多个静止图像的形式)。例如，图像处理系统可以基于图像数据128生成一个或多个彩色(例如全色和/或灰度)图像和/或一个或多个荧光图像(例如彩色和/或灰度荧光图像)以在一个或多个显示设备上显示。

医学成像系统100可用于捕获使用不同荧光成像剂生成的荧光图像。为此，照明源控制单元130(“控制单元130”)可通信地连接到可见光照明系统116和荧光激发照明系统118。如本文所述，控制单元130被配置为选择性地控制(例如，激活和/或调整)可见光照明系统116和/或荧光激发照明系统118。如所示，在图1的实例中，控制单元130被包括在控制器104中。在可选实施方式中，控制单元130可以被包括在与控制器104通信的计算设备中或由其实施。

如所示，控制单元130可以包括但不限于选择性地和通信地彼此连接的存储设施132和处理设施134。设施132和134均可包括硬件和/或软件部件(例如，处理器、存储器、通信接口、存储在存储器中以供处理器执行的指令等)或由其实施。例如，设施132和134可以由计算机辅助手术系统中的任何部件实施。在一些实例中，设施132和134可以分布在如可用于具体实施的多个设备和/或多个位置之间。

存储设施132可以维持(例如，存储)处理设施134使用的可执行数据以进行本文所述的任何操作。例如，存储设施132可存储可由处理设施134执行以进行本文所述的任何操作的指令136。指令136可以由任何合适的应用程序、软件、代码和/或其他可执行数据例子来实施。存储设施132还可以维持由处理设施134接收、生成、管理、使用和/或传输的任何数据。

处理设施134可以被配置为进行(例如，执行存储在存储设施132中的指令136以进行)与控制可见光照明系统116和荧光激发照明系统118相关联的多种操作。现在将描述这些操作的实例。将认识到，本文所述由控制单元130执行的操作由控制单元130的处理设施134执行。

在以下实例中，可见光120-1被偏置为与第一颜色相关联的第一波长并且可见光120-2被偏置为与第二颜色相关联的第二波长。此外，在以下实例中，荧光激发照明122-1具有第三波长以通过第一荧光成像剂引发荧光照明，和荧光激发照明122-2具有第四波长以通过第二荧光成像剂引发荧光照明。第三波长更接近第一波长而不是第二波长。第四波长更接近第二波长而不是第一波长。

例如，第一波长可以在蓝色区域中并且因此与蓝色相关联，而第二波长可以在红色区域中并且因此与红色相关联。第三波长可以在405nm左右，其更接近蓝色区域而不是红色区域。第四波长可以是650、785或803nm左右，其都更接近红色区域而不是蓝色区域。第三和第四波长可以各自是可以用于具体实施的任何其他值。

控制单元130可以识别在患者中使用的荧光成像剂。这可以以任何合适的方式执行。例如，控制单元130可以接收识别荧光成像剂和/或荧光成像剂波长的用户输入(例如，通过用户接口的方式)。作为另一个实例，控制单元130可以在初始化程序期间选择性地引导荧光激发照明系统118在荧光成像剂在患者体内时发射荧光激发照明122-1和/或122-2。在应用具体的荧光激发照明122时，控制单元130可以确定是否检测到荧光照明。如果在发射具体的荧光激发照明时检测到荧光照明，则控制单元130可以通过识别荧光照明的波长来识别荧光成像剂。

控制单元130可以确定所识别的荧光成像剂为第一荧光成像剂或第二荧光成像剂。例如，控制单元130可以在存储设施202中维持查找表，该查找表将一种或多种荧光成像剂与可由荧光激发照明系统118发射的不同类型的荧光激发照明中的每一种相关联。控制单元130可以参考查找表以确定所识别的荧光成像剂与荧光激发照明的具体一个相关联。

为了说明，控制单元130可以确定在患者中使用的荧光成像剂在距荧光激发照明122-1的第三波长预定距离内的波长处发荧光。作为响应，控制单元130可以确定荧光成像剂为第一荧光成像剂。

响应于该确定，控制单元130可以选择性地引导可见光照明系统116发射可见光120-2和引导荧光激发照明系统118发射荧光激发照明122-1。这可以以任何合适的方式执行。

例如，在由配置为发射可见光120-1的第一可见光照明源和配置为发射可见光120-2的第二可见光照明源实施可见光照明系统116的实施中，控制单元130可以通过选择性地激活(例如，开启或以其他方式启用)第二可见光照明源并确保第一可见光照明源被去激活来选择性地引导可见光照明系统116发射可见光120-2。

作为另一个实例，在由单个可调整的可见光照明源实施可见光照明系统116的实施中，控制单元130可以通过调整单个可调整的可见光照明源以选择性地发射可见光120-2来选择性地引导可见光照明系统116发射可见光120-2。该调整可以以任何合适的方式执行，例如通过调整由可调整的可见光照明源输出的光的过滤。

同样，在由配置为发射荧光激发照明122-1的第一荧光激发照明源和配置为发射荧光激发照明122-2的第二荧光激发照明源实施荧光激发照明系统118的实施中，控制单元130可以通过选择性地激活第一荧光激发照明源并确保第二荧光激发照明源被去激活来选择性地引导荧光激发照明系统118发射荧光激发照明122-1。

作为另一个实例，在由单个可调整的荧光激发照明源实施荧光激发照明系统118的实施中，控制单元130可以通过调整单个可调整的荧光激发照明源以发射荧光激发照明122-1来选择性地引导荧光激发照明系统118发射荧光激发照明122-1。该调整可以以任何合适的方式执行，例如通过调整由可调整的可见光照明源输出的照明的过滤。

如本文将变得明显的，通过控制单元130选择性地引导可见光照明系统116发射可见光120-2和引导荧光激发照明系统118发射荧光激发照明122-1，本文所述的系统和方法可确保可见光120-2没有被用于滤除荧光激发照明122-1的窄带截止滤光片过度地滤除。这又可能会产生更高质量(例如，更清晰)的彩色和荧光图像。此外，该配置可确保可见光120-2不会淹没(overwhelm)由荧光成像剂发射的荧光照明。

作为另一个实例，控制单元130可以确定在患者中使用的荧光成像剂在距荧光激发照明122-2的第四波长预定距离内的波长处发荧光。作为响应，控制单元130可以确定荧光成像剂为第二荧光成像剂。

响应于该确定，控制单元130可以选择性地引导可见光照明系统116发射可见光120-1和引导荧光激发照明系统118发射荧光激发照明122-2。这可以以本文所述的任何方式来完成。在这种状态下，控制单元130可以确保可见光照明系统不发射可见光120-2和荧光激发照明系统118不发射荧光激发照明122-1。如本文中将变得明显的，该配置可确保可见光120-1没有被用于滤除荧光激发照明122-2的窄带截止滤光片过度地滤除。这又可能会产生更高质量(例如，更清晰)的彩色和荧光图像。

为了促进场景的彩色和/或荧光成像，可以在医学成像系统100内实施多种滤光片。现在将描述可以根据本文所述的系统和方法使用的示例性滤光片布置。

图2示出了示例性图像传感器200。图像传感器200可以实施图像传感器110和/或包括在成像设备中的任何其他图像传感器。如所示，图像传感器200包括多个像素阵列202(例如，像素阵列202-1至像素阵列202-n)。每个像素阵列202包括像素204的二乘二布置。例如，像素阵列202-1包括如图2所示布置的第一像素204-1、第二像素204-2、第三像素204-3和第四像素204-4。图像传感器200可包括如可用于具体实施的任何合适数量的像素阵列202。

为了促进场景的彩色成像，图像传感器200可以包括覆盖像素204的颜色滤光片的布置。每个颜色滤光片被配置为允许其相应的像素204仅检测入射在像素204上的光的具体颜色分量。颜色滤光片可以通过涂覆在或以其他方式粘附(adhere)到像素204的表面(例如，光可以入射的表面)上来覆盖像素204。颜色滤光片可以可选地以任何其他合适的方式覆盖像素204。

在示例性颜色滤光片布置中，第一颜色滤光片覆盖像素204-1，第二颜色滤光片覆盖像素204-2和204-3，和第三颜色滤光片覆盖像素204-4。第一颜色滤光片被配置为允许像素204-1收集第一可见光颜色分量并防止像素204-1收集第二和第三可见光颜色分量。第二颜色滤光片被配置为允许像素204-2和204-3各自收集第二可见光颜色分量并防止像素204-2和204-3各自收集第一和第三可见光颜色分量。第三颜色滤光片被配置为允许像素204-4收集第三可见光颜色分量并防止像素204-4收集第一和第二可见光颜色分量。

为了说明，图3a-3b示出了覆盖像素204和可以根据本文所述的系统和方法使用的示例性颜色滤光片布置。如所示，不同的颜色滤光片302可以覆盖每个像素204。为了便于说明，图3a示出了稍微偏移像素204的滤光片302，而图3b示出了直接覆盖像素204的滤光片302。

如图3a-3b所示，红色滤光片302-r覆盖像素204-1，第一蓝色滤光片302-b1覆盖像素204-2，第二蓝色滤光片302-b2覆盖像素204-3，和绿色滤光片302-g覆盖像素204-4。由于颜色滤光片302的布置顺序，图3a-3b中所示的滤光片布置在本文中被称为rbbg。

红色滤光片302-r被配置为允许像素204-1收集可见光的红色分量并防止像素204-1收集可见光的蓝色和绿色分量。蓝色滤光片302-b1和302-b2被配置为允许像素204-2和204-3各自收集可见光的蓝色分量并防止像素204-2和204-3各自收集可见光的红色和绿色分量。绿色滤光片302-g被配置为允许像素204-4收集可见光的绿色分量并防止像素204-4收集可见光的红色和蓝色分量。

根据本文所述的系统和方法，也可以使用包括两个蓝色滤光片的其他颜色滤光片布置。例如，在可选实施方式中，第一蓝色滤光片302-b1可以覆盖像素204-1，红色滤光片302-r可以覆盖像素204-2，绿色滤光片302-g可以覆盖像素204-3，和第二蓝色滤光片302-b2可以覆盖像素204-4。这种可选的滤光片布置可以被称为brbg。

通过使用百分之五十蓝色的颜色滤光片布置，例如图3a-3b中所示的，与仅具有百分之二十五蓝色的传统颜色滤光片布置相比，本文所述的系统和方法可以更有效地捕获在医学成像应用中使用的偏蓝光。因此，百分之五十蓝色的颜色滤光片布置可以产生与患者相关联的手术区域的更清晰和更准确的图像。

可以可选地结合本文所述的系统和方法使用其他滤光片布置。例如，图4a-4b示出了覆盖像素204和可以根据本文所述的系统和方法使用的示例性rggb颜色滤光片布置。为了便于说明，图4a显示了与像素204稍微偏移的滤光片302，而图4b显示了直接覆盖像素204的滤光片302。

如图4a-4b所示，红色滤光片302-r覆盖像素204-1，第一绿色滤光片302-g1覆盖像素204-2，第二绿色滤光片302-g2覆盖像素204-3，和蓝色滤光片302-b覆盖像素204-4。红色滤光片302-r被配置为允许像素204-1收集可见光的红色分量并防止像素204-1收集可见光的蓝色和绿色分量。绿色滤光片302-g1和302-g2被配置为允许像素204-2和204-3各自收集可见光的绿色分量并防止像素204-2和204-3各自收集可见光的红色和蓝色分量。蓝色滤光片302-b被配置为允许像素204-4收集可见光的蓝色分量并防止像素204-4收集可见光的红色和绿色分量。

在一些场景下(例如，当期望生成全色或灰度荧光图像时)，可见光照明系统116和荧光激发照明系统118分别同时发射可见光和荧光激发照明。在这些场景中，图像传感器110的像素收集可见光和荧光照明二者，而不区分两种类型的照明。因此，图像传感器110输出的图像数据124包括代表颜色分量和荧光照明分量二者的数据(其中荧光照明分量可以包括可见光或红外线，这取决于所提供的具体荧光激发照明)。

为了说明，图5示出了颜色滤光片302的光谱响应曲线502。例如，图5示出了红色滤光片302-r的光谱响应曲线502-1、蓝色滤光片302-b1和302-b2的光谱响应曲线502-2，以及绿色滤光片302-g的光谱响应曲线502-3。光谱响应曲线502由实线和虚线的不同变化表示，以在视觉上将光谱响应曲线502彼此区分开。如所示，光谱响应曲线502沿着水平轴绘制，该轴代表可见光范围504和红外线范围506中包括的波长。

光谱响应曲线502示出了每个颜色滤光片302如何允许其相应像素收集可见光120的具体颜色分量同时防止像素收集可见光120的其他颜色分量。例如，光谱响应曲线502-1在可见光范围504的红色区域中的波长处具有相对高的响应，和在可见光范围504的其他区域中的波长处具有相对低的响应。因此，在图3a-3b所示的颜色滤光片布置中，红色滤光片302-r允许像素204-1收集可见光120的红色分量，同时防止像素204-1收集可见光120的蓝色和绿色分量。光谱响应曲线502-2在可见光范围504的蓝色区域中的波长处具有相对高的响应和在可见光范围504的其他区域中的波长处具有相对低的响应。因此，在图3a-3b所示的颜色滤光片布置中，蓝色滤光片302-b1和302-b2允许像素204-2和204-3收集可见光120的蓝色分量，同时防止像素204-2和204-3收集可见光120的红色和绿色分量。光谱响应曲线502-3在可见光范围504的绿色区域中的波长处具有相对高的响应，而在可见光范围504的其他区域中的波长处具有相对低的响应。因此，在图3a-3b所示的颜色滤光片布置中，绿色滤光片302-g允许像素204-4收集可见光120的绿色分量，同时防止像素204-4收集可见光120的红色和蓝色分量。

同样如图5所示，光谱响应曲线502各自在红外线范围506中具有相对高的响应。换言之，相对于光谱响应曲线502的每个颜色滤光片302不防止像素204收集至少一些类型的红外线。为了说明，如图5所示，颜色滤光片302可能不会防止像素204收集近红外线。

因此，在其中荧光激发照明系统118被配置为发射红外线的配置中，覆盖一个或多个像素204的一个或多个红外截止滤光片可以被包括在医学成像系统100中。在这些配置中，图像数据128包括颜色分量和红外荧光照明分量(即，代表具有红外线范围内波长的荧光照明122的分量)。一个或多个红外截止滤光片可以允许图像处理系统区分图像数据128中包括的颜色分量和红外荧光照明分量。通过区分颜色分量和红外荧光照明分量，图像处理系统可以能够生成彩色(例如，全色)荧光图像。

为了说明，图6a-6b与图3a-3b中所示的颜色滤光片布置相关联并说明其中像素级宽带红外截止滤光片602(“截止滤光片602”)覆盖像素204-2的滤光片配置。截止滤光片602可以通过被配置为粘附到像素204-2的表面和/或以任何其他方式的涂层来实施。

为了便于说明，图6a显示了稍微偏移像素204的滤光片302和602，而图6b显示了直接覆盖像素204的滤光片302和602。截止滤光片602在图6a-6b中示出为在蓝色滤光片302-b1之上。然而，在可选实施方式中，蓝色滤光片302-b1可以在截止滤光片602之上。

如所示，类似于截止滤光片602的像素级宽带红外截止滤光片不覆盖像素204-1、204-3和204-4。这可以有利地允许图像处理系统区分图像数据128中包括的颜色分量和红外荧光照明分量，如在下文将描述的。

截止滤光片602被配置为防止像素204-2收集具有包括在相对宽的波长范围(例如，整个近红外线范围)中的波长的红外线。这在图7中进行了说明，其与图5类似，除了在图7中，颜色滤光片302-2的光谱响应502-2在近红外线范围内(例如，在700nm和950nm之间)相对平坦。这在图7中通过插图编号702突出显示。

通过防止像素204-2收集红外线，截止滤光片602可以有效地允许像素204-2仅收集可见光120的蓝色分量。相反，因为像素204-3没有被类似于截止滤光片602的截止滤光片覆盖，当可见光照明系统116和荧光激发照明系统118同时发射光时，像素204-3收集由荧光激发照明122引发的蓝色分量和红外荧光照明二者。如下文将描述的，图像处理系统可以从代表由像素204-2收集的光的信号中减去代表由像素204-3收集的光的信号以识别包括在代表由像素204-2收集的光的信号中的红外荧光照明分量。

在一些可选实施方式中，像素204-1、204-3和204-4中的一种或多个也可以被类似于截止滤光片602的宽带红外截止滤光片覆盖。例如，图8a-8b示出了其中像素级宽带红外截止滤光片602覆盖像素204-2和204-3二者的滤光片配置。为了便于说明，图8a示出了稍微偏移像素204-2和204-3的截止滤光片602，而图8b示出了直接覆盖像素204-2和204-3的滤光片602。图8a-8b的滤光片配置可以增加基于像素204捕获的光生成的彩色图像和灰度荧光图像的清晰度。

图9a-9b示出了可选的配置，其中截止滤光片602与rggb滤光片配置结合使用，例如图4a-4b中所示的rggb滤光片配置。如所示，截止滤光片602覆盖像素204-2，而没有覆盖剩余像素204-1、204-3和204-4的类似截止滤光片。为了便于说明，图9a示出了稍微偏移像素204的滤光片302和截止滤光片602，而图9b示出了直接覆盖像素204的滤光片302和截止滤光片602。例如，可以在其中用作照明的可见光偏绿的成像应用(例如，非医疗应用)中，使用图9a-9b中所示的配置。

如所述的，荧光成像剂可以在与荧光激发照明402不同的波长下发荧光。例如，如所述的，当被具有803nm波长的荧光激发照明激发时，示例性荧光成像剂在830nm下发荧光。因为期望防止像素204检测荧光激发照明122，同时允许像素204中的至少一些检测由荧光成像剂发射的荧光照明，窄带截止滤光片可以进一步包括在本文所述的医学成像系统中。

为了说明，图10a示出了示例性滤光片配置，其中窄带截止滤光片1002覆盖所有的像素204。窄带截止滤光片1002可以实施为玻璃滤光片，例如，其覆盖所有的像素204并且在颜色滤光片302和截止滤光片602之上。窄带截止滤光片1002被配置为防止像素204收集具有包括在相对窄的波长范围(例如，20nm或更小的范围)中的波长的光，该波长范围包括荧光激发照明122的波长。因此，窄带截止滤光片1002有效地防止像素204检测荧光激发照明122。

在一些实例中，窄带截止滤光片1002被配置为防止像素204收集可由荧光激发照明系统118选择性发射的多个不同可能的波长(例如，405、650、785和803nm的任何组合)的荧光激发照明122。例如，窄带截止滤光片1002可以实施为滤除所有这些波长的单个玻璃滤光片。可选地，窄带截止滤光片1002可以实施为一层不同的玻璃滤光片，每个玻璃滤光片被配置为滤除这些波长中的一种。

图10b示出了与图3a-3b的颜色滤光片布置相关联的可选配置，其中像素级窄带截止滤光片1004-1、1004-2和1004-3分别覆盖像素204-1、204-3和204-4。像素级窄带截止滤光片1004可以以任何合适的方式实施。与窄带截止滤光片1002一样，像素级窄带截止滤光片1004可以有效地防止像素204-1、204-3和204-4检测荧光激发照明122。将认识到，在荧光激发照明122是红外线的情况下，截止滤光片602同样防止像素204-2检测荧光激发照明122。

在一些实例中，多层窄带截止滤光片1002可以覆盖具体像素204，其中每一层被配置为滤除不同的荧光照明波长。例如，如果荧光激发照明系统118被配置为选择性地发射具有405nm或803nm波长的荧光激发照明122，则两层像素级窄带截止滤光片1004-1、1004-2和1004-3分别覆盖像素204-1、204-3和204-4。第一层可以被配置为滤除波长为405nm的可见光，第二层可以被配置为滤除波长为803nm的红外线。

图11图示了图像处理系统1100，其可以被配置为基于代表由像素204收集的光的信号生成一个或多个图像以在显示设备上显示。图像处理系统1100可以被包括在或连接到本文所述的任何医学成像系统。例如，在一些实例中，图像处理系统1100通信地连接到控制器104。在该配置中，图像处理系统1100可以接收经处理的图像数据128作为输入。

如所示，系统1100可以包括但不限于选择性地和通信地彼此连接的存储设施1102和处理设施1104。设施1102和1104可各自包括硬件和/或软件部件(例如，处理器、存储器、通信接口、存储在存储器中以供处理器执行的指令等)或由其实施。例如，设施1102和1104可以由计算机辅助手术系统中的任何部件实施。在一些实例中，设施1102和1104可以分布在如可用于具体实施的多个设备和/或多个位置之间。

存储设施1102可以维持(例如，存储)处理设施1104使用的可执行数据以进行本文所述的任何操作。例如，存储设施1102可存储可由处理设施1104执行以进行本文所述的任何操作的指令1106。指令1106可以由任何合适的应用程序、软件、代码和/或其他可执行数据实例来实施。存储设施1102还可以维持由处理设施1104接收、生成、管理、使用和/或传输的任何数据。

处理设施1104可以被配置为进行(例如，执行存储在存储设施1102中的指令1106以进行)与生成用于在显示设备上显示的图像相关联的多种操作。

例如，当可见光120和荧光激发照明122被同时发射时(可选地，在可见光120和荧光激发照明122已经被发射之后)，处理设施1104可以接收代表由像素204-1收集的光的第一信号s1，代表由像素204-2收集的光的第二信号s2、代表由像素204-3收集的光的第三信号s3和代表由像素204-4收集的光的第四信号s4。

在该实例中，像素204被图10a或图10b中所示的滤光片布置覆盖(即，rbbg颜色滤光片布置，其具有覆盖像素204-2的截止滤光片602和覆盖剩余像素204-1、204-3和204-4的窄带截止滤光片1002或窄带截止滤光片1004)。出于该实例的目的，还将假设荧光激发照明122具有在红外线范围内的波长(例如，803nm)。

因此，由处理设施1104接收的信号可由以下等式表示：

s1＝r+fi

s2＝b

s3＝b+fi

s4＝g+fi

在这些等式中，r代表由像素204-1捕获的光的红色分量，b代表由像素204-2和204-3捕获的光的蓝色分量，g代表由像素204-4捕获的光的绿色分量，和fi代表由像素204-1、204-3和204-4捕获的红外荧光照明。注意，由于存在覆盖像素204-2的截止滤光片602和覆盖像素204-1、204-3和204-4的窄带截止滤光片1002或窄带截止滤光片1004，信号s1到s4都不包括荧光激发照明122。

处理设施1104可以处理信号s1到s4以选择性地生成全色图像(没有荧光)和全色荧光图像。例如，图12示出了可由处理设施1104执行以选择性地生成全色图像和全色荧光图像的多种操作。

在求和框1202，处理设施1104首先从s3中减去s2以识别包括在s3中的红外荧光照明分量fi。可以使用任何合适的信号处理操作来执行该减法。

为了识别红色分量r和绿色分量g，处理设施1104在求和框1204处从s1中减去fi并在求和框1206处从s4中减去fi。如所示，求和框1204的输出是仅代表红色分量r的经处理的第一信号和求和框1206的输出是仅代表绿色分量g的经处理的第四信号。

如所示，r、g、b和fi都被输入到图像生成器1208中，其可以以任何合适的方式由处理设施1104实施。图像生成器1208可以基于接收到的图像模式选择器命令1210生成多种类型的图像以由显示设备显示。图像模式选择器命令1210可由用户(例如，外科医生)、由计算机辅助手术系统中包括的任何部件和/或如可用于具体实施的任何其他源提供。图像模式选择器命令1210可以在可见光120和荧光激发照明122同时被发射时和/或在任何其他合适的时间被图像生成器1208接收。

为了说明，图像模式选择器命令1210可以包括呈现不包括荧光图像的全色图像的命令。响应于接收该命令，图像生成器1208可以使用任何合适的图像处理技术基于r、g和b信号生成全色图像。

可选地，如果图像模式选择器命令1210包括呈现全色荧光图像的命令，则图像生成器1208可以基于r、g、b和ir信号生成全色荧光图像。这可以使用任何合适的图像处理技术来执行。

图13与图5和图7类似，除了图13还显示了叠加在光谱响应502上的窄带截止滤光片1302-1至1302-4。窄带截止滤光片1302-1被配置为滤除波长为405nm的可见光，窄带截止滤光片1302-2被配置为滤除波长为650nm的可见光，窄带截止滤光片1302-3被配置为滤除波长为785nm的可见光，和窄带截止滤光片1302-4被配置为滤除波长为803nm的可见光。

取决于由荧光激发照明系统118发射的荧光激发照明的具体波长，两个或更多个窄带截止滤光片1302可以包括在医学成像系统100中。例如，如果荧光激发照明系统118发射波长为405nm的荧光激发照明和波长为803nm的荧光激发照明，那么窄带截止滤光片1302-1和1302-4可以包括在医学成像系统100中。

图13还示出了可见光照明系统116发射的可见光120-1的表示和可见光120-2的表示。如表示的定位所示，在图13的实例中，可见光120-1是偏蓝的，和可见光120-2是偏红的。

图13示出了选择性配置的可见光照明系统116和荧光激发照明系统118的多种益处。例如，如果可见光照明系统116和荧光激发照明系统118都由多个照明源实施，则照明源控制单元130可以确定在患者中使用的荧光成像剂响应波长为405nm的荧光激发照明而发荧光。照明源控制单元130可以相应地激活发射405nm的荧光激发照明的荧光激发照明源之一。在这种情况下，使用偏红可见光120-2比使用偏蓝可见光120-1作为也照亮场景的可见光更好。这是因为如果要使用偏蓝可见光120-1来照亮场景，窄带截止滤光片1302-1将滤除一些偏蓝可见光120-1，并且因为由于偏蓝可见光120-1和荧光照明的波长相对接近，偏蓝可见光120-1可以淹没荧光照明。因此，在该实例中，照明源控制单元130可以激活发射可见光120-2的可见光照明源。

相反，照明源控制单元130可以确定在患者中使用的荧光成像剂响应于具有650nm波长的荧光激发照明而发荧光。照明源控制单元130可以相应地激活发射期望的荧光激发照明的荧光激发照明源之一。在这种情况下，使用偏蓝可见光120-1比偏红可见光120-2作为也照亮场景的可见光更好。这是因为如果要使用偏红可见光120-2来照亮场景，窄带截止滤光片1302-2将滤除一些偏红可见光120-2。因此，在该实例中，照明源控制单元130可以激活发射可见光120-1的可见光照明源。

在照明源控制单元130引导荧光激发照明系统118发射红外线范围(例如，785nm或803nm)中的荧光激发照明的情况下，照明源控制单元130可以激活发射偏蓝可见光120-1的可见光照明源而不是发射偏红可见光120-2的可见光照明源来照亮场景。这至少部分是由于偏蓝可见光120-1的波长比偏红可见光120-2的波长更远离荧光激发照明的波长，这最小化了可见光将被窄带截止滤光片1302-3或1302-4部分过滤的任何机会。此外，在被成像的场景是与患者相关联的手术区域的情况下，可以选择发射可见光120-1的可见光照明源。在这些情况下，由于在通过引用并入本文的共同未决申请中所述的原因，偏蓝可见光120-1可以产生比偏红可见光120-2更清晰的图像。

图14示出了示例性计算机辅助手术系统1400(“手术系统1400”)。如所示，手术系统1400可以包括彼此通信连接的操纵系统1402、用户控制系统1404和辅助系统1406。手术系统1400可以被手术团队用来对患者1408执行计算机辅助的外科手术。如所示，手术团队可以包括外科医生1410-1、助理1410-2、护士1410-3和麻醉师1410-4，他们可以统称为“手术团队成员1410”。可以在手术过程期间出现如可用于具体实施的另外的或可选的手术团队成员。

虽然图14示出了正在进行的微创外科手术，但应当理解，手术系统1400可以类似地用于执行开放式外科手术或其他类型的外科手术，这些外科手术可以类似地受益于手术系统1400的准确性和便利性。另外地，应当理解，可以采用手术系统1400的整个手术过程不仅可以包括外科手术的手术阶段，如图14所示，而且还可以包括手术前、手术后和/或外科手术的其他合适的阶段。外科手术可以包括其中对患者使用手动和/或器械技术以调查或治疗患者的身体状况的任何程序。

如图14所示，操纵系统1402可以包括多个操纵器臂1412(例如，操纵器臂1412-1至1412-4)，多个手术器械可以连接到该多个操纵器臂1412。每个手术器械可以由任何合适的手术工具(例如，具有组织相互作用功能的工具)、医疗工具、成像设备(例如，内窥镜)、感测器械(例如，力感测手术器械)、诊断器械或可对患者1408使用的计算机辅助外科手术等类似物(例如，通过至少部分地插入患者1408中并被操纵以对患者1408执行计算机辅助的外科手术)来实施。虽然操纵系统1402在本文中被描绘和描述为包括四个操纵器臂1412，但是应当认识到操纵系统1402可以仅包括单个操纵器臂1412或如可用于具体实施的任何其他数量的操纵器臂。

操纵器臂1412和/或附接到操纵器臂1412的手术器械可以包括一个或多个位移传感器、定向传感器和/或位置传感器，用于生成原始(即，未校正)运动学信息。手术系统1400的一个或多个部件可以被配置为使用运动学信息来跟踪手术器械(例如，确定其位置)和/或控制手术器械。

用户控制系统1404可以被配置为促进外科医生1410-1控制操纵器臂1412和附接到操纵器臂1412的手术器械。例如，外科医生1410-1可以与用户控制系统1404交互以远程移动或操纵该操纵器臂1412和手术器械。为此，用户控制系统1404可以向外科医生1410-1提供由成像系统(例如，本文所述的任何医学成像系统)捕获的与患者1408相关联的手术区域的图像(例如，高清晰度3d图像)。在某些实例中，用户控制系统1404可以包括具有两个显示器的立体查看器，其中与患者1408相关联并且由立体成像系统生成的手术区域的立体图像可以被外科医生1410-1查看。外科医生1410-1可以利用图像来执行一个或多个程序，其中一个或多个手术器械附接到操纵器臂1412。

为了促进控制手术器械，用户控制系统1404可以包括一组主控制器。这些主控制器可由外科医生1410-1操纵以控制手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控制器可以被配置为检测外科医生1410-1的多种手、手腕和手指移动。以此方式，外科医生1410-1可以使用一种或多种手术器械直观地执行程序。

辅助系统1406可以包括一个或多个计算设备，其被配置为执行手术系统1400的主要处理操作。在这样的配置中，辅助系统1406中包括的一个或多个计算设备可以控制和/或协调由手术系统1400的多种其他部件(例如，操纵系统1402和用户控制系统1404)执行的操作。例如，用户控制系统1404中包括的计算设备可以通过辅助系统1406中包括的一个或多个计算设备向操纵系统1402传输指令。作为另一个实例，辅助系统1406可以从操纵系统1402接收表示由附接到操纵器臂1412之一的成像设备捕获的图像的图像数据并对其进行处理。

在一些实例中，辅助系统1406可以被配置为向可能无法访问在用户控制系统1404处提供给外科医生1410-1的图像的手术团队成员1410呈现视觉内容。为此，辅助系统1406可以包括显示监视器1414，其被配置为显示一个或多个用户接口，例如手术区域的图像(例如，2d图像)、与患者1408和/或外科手术相关联的信息、和/或如可用于具体实施的任何其他视觉内容。例如，显示监视器1414可以显示手术区域的图像以及与图像同时显示的另外内容(例如，图形内容、上下文信息等)。在一些实施方式中，显示监视器1414由触摸屏显示实施，其中手术团队成员1410可以与其交互(例如，通过触摸手势的方式)以向手术系统1400提供用户输入。

操纵系统1402、用户控制系统1404和辅助系统1406可以以任何合适的方式彼此通信连接。例如，如图14所示，操纵系统1402、用户控制系统1404和辅助系统1406可以通过控制线1416通信连接，控制线1416可以表示如可用于具体实施的任何有线或无线通信链路。为此，操纵系统1402、用户控制系统1404和辅助系统1406可以各自包括一个或多个有线或无线通信接口，例如一个或多个局域网接口、wi-fi网络接口、蜂窝接口等。

在一些实例中，可以根据本文所述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当由计算设备的处理器执行时，指令可以指导处理器和/或计算设备执行一个或多个操作，包括本文所述的一个或多个操作。可以使用多种已知的计算机可读介质中的任何来存储和/或传输这样的指令。

本文所指的非暂时性计算机可读介质可包括参与提供可由计算设备(例如，由计算设备的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电随机存取存储器(“ram”)和光盘(例如，压缩盘、数字视频盘、蓝光光盘等)。示例性易失性存储介质包括但不限于ram(例如，动态ram)。

图15图示了示例性计算设备1500，其可以被具体配置为执行本文所述的一个或多个过程。本文所述的任何系统、单元、计算设备和/或其他部件可以由计算设备1500实施。

如图15所示，计算设备1500可以包括经由通信基础设施1510彼此通信连接的通信接口1502、处理器1504、存储设备1506和输入/输出(“i/o”)模块1508。尽管图15中示出了示例性计算设备1500，但图15中所示的部件并不旨在是限制性的。在其他实施方式中可以使用另外的或可选的部件。现在将更详细地描述图15中所示的计算设备1500的部件。

通信接口1502可以被配置为与一个或多个计算设备通信。通信接口1502的实例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。

处理器1504通常表示能够处理数据和/或解释、执行和/或引导本文所述的指令、过程和/或操作的一个或多个的执行的任何类型或形式的处理单元。处理器1504可以通过执行存储在存储设备1506中的计算机可执行指令1512(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。

存储设备1506可以包括一个或多个数据存储介质、设备或配置并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1506可以包括但不限于本文所述的非易失性介质和/或易失性介质的任何组合。电子数据(包括本文所述的数据)可以暂时和/或永久地存储在存储设备1506中。例如，表示被配置为指导处理器1504执行本文所述的任何操作的计算机可执行指令1512的数据可以存储在存储设备1506中。在一些实例中，数据可以被安排在驻留在存储设备1506的一个或多个数据库中。

i/o模块1508可以包括被配置为接收用户输入和提供用户输出的一个或多个i/o模块。i/o模块1508可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，i/o模块1508可以包括用于捕获用户输入的硬件和/或软件，其包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，rf或红外接收器)、运动传感器和/或一个或多个输入按钮。

i/o模块1508可以包括用于向用户呈现输出的一个或多个设备，其包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示器驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施方式中，i/o模块1508被配置为向显示器提供图形数据以呈现给用户。图形数据可以代表一个或多个图形用户接口和/或如可用于具体实施的任何其他图形内容。

在前面的描述中，已经参考附图描述了多种示例性实施方式。然而，很明显，可以对其进行多种修改和改变，并且可以实施另外的实施方式，而不脱离如在所附权利要求中阐述的本发明的范围。例如，本文所述的一个实施方式的某些特征可以与本文所述的另一个实施方式的特征组合或被替代。因此，说明书和附图被认为是说明性的而不是限制性的意义。