同时带有白光和高光谱光的成像系统的制作方法
本申请要求以下优先权和益处：
美国专利申请no.62/385,700(2016年9月9日提交，公开了iane.mcdowall等人的“同时带有白光和高光谱光的成像系统”)。
本发明大体涉及外科手术进程中使用的成像技术，并且更具体地涉及与视觉成像相结合的高光谱成像。
背景技术：
计算机辅助外科手术系统为患者提供了许多益处，诸如减少对身体的创伤、更快的恢复和更短的住院时间。计算机辅助外科手术系统的一个关键部件为提供双通道(即，左和右)视频捕获和可见图像显示的能力，以向外科医生提供立体观看。
此类电子立体成像系统可向外科医生输出高清晰度视频图像，并且可允许诸如变焦的特征以提供“放大”视图，其允许外科医生识别特定组织类型和特征，以及以更高精度工作。
在典型的微创外科手术视野中，某些组织类型难以识别，或者感兴趣的组织会至少部分地被其它组织遮挡。这使外科手术进程变得复杂。在一些应用中，荧光图像和反射的白光图像用于微创外科手术。荧光图像有助于识别感兴趣的组织。
存在各种荧光成像模式。荧光可由使用例如可注射染料、荧光蛋白或荧光标记抗体产生。荧光可由例如激光或其它能量源激发产生。荧光图像能够提供对于外科手术至关重要的重要体内患者信息，诸如病理信息(例如，荧光肿瘤)或解剖信息(例如，荧光标记的肌腱)。
因此，在微创外科手术中已知使用荧光成像进行组织可视化。进一步使用近红外(nir)光技术与吲哚菁绿(icg；美国伊利诺伊州森林湖爱克龙药业(icg；akorn,lakeforest,il,usa))作为荧光剂已经用于达芬奇si外科手术系统的微创外科手术。
例如，hellen等人，“机械左侧结直肠外科手术中荧光成像对肠道横切位置的影响”，surg.endosc.在2014年1月3日，doi10.1007/s00464-013-3377-6，基于对吲哚菁绿(icg)灌注和近红外光技术的评估，系统地评估荧光成像对结肠和直肠横切位置的影响。
例如，也已知在定位输尿管时使用荧光。使用iv注射或基于导管的近红外(nir)荧光团的逆行注射来使用红外照明对输尿管成像。据报道，即使嵌入周围组织，输尿管也可被观看到，并且可使用不可见光实时评估损伤。eiichitanaka等人，“使用近红外荧光进行实时术中输尿管引导”，j.urol.178(5)，pgs.2197-2201(2007)描述了使用吲哚菁绿(icg)和cw800-ca、来自li-cor(lincoln,ne)的irdyetm800cwnir染料的羧酸形式作为nir荧光团。ayamatsui,m.d等人，“使用亚甲蓝的输尿管进行实时近红外荧光指导识别”，外科手术148(1)pgs.78-86(2010)使用亚甲蓝作为nir荧光团。
另一种定位输尿管的途径为使用红外热像仪。室温盐水用作手术视野的冲洗剂，使得整个手术视野暂时冷却。随着手术视野被区别性地复温，结构(诸如血管)被快速地复温并且在红外图像中作为区别于暗背景的白线出现。该相同概念的第二个应用涉及用室温盐水填充上泌尿系统。骨盆和输尿管在较暖背景下呈现黑色，在红外图像中呈现白色。参见jeffreya.cadeddu,m.d.等人，“腹腔镜红外成像”，泌尿学杂志，2001年第15卷第1期第111-116页。
技术实现要素：
外科手术系统包括照明器和相机。照明器包括白光照明源和高光谱照明源。相机包括传感器组件。传感器组件包括第一图像捕获传感器和第二图像捕获传感器。第一图像捕获传感器被配置成捕获可见颜色帧，并且第二图像捕获传感器被配置成捕获高光谱帧。第一图像捕获传感器和第二图像捕获传感器基本上同时捕获可见颜色帧和高光谱帧。
在一个方面，相机安装在外科手术系统的机械臂上。外科手术系统的控制器耦合到照明器并且耦合到相机。控制器被配置成命令机械臂将相机移动到多个位置中的每一个，并且控制器被配置成命令相机在多个位置中的每一个处同时捕获可见颜色帧和高光谱帧。
在另一方面，控制器被配置成命令照明器输出高光谱波段的时间序列。在该方面，控制器被配置成命令相机针对多个高光谱波段中的每一个基本上同时捕获可见颜色帧和高光谱帧。
在又一方面，控制器被配置成命令相机捕获一组高光谱帧并且捕获可见帧。控制器被配置成由该组高光谱帧生成复合帧。可见帧包括手术部位的可见场景，并且复合帧包括在可见场景中明显显著的手术部位的特征。
外科手术系统也包括显示器单元，该显示器单元耦合到控制器以接收复合帧和可见帧。处理帧以识别(一个或多个)特征(或增强特征的可见性)，并且显示器单元显示与可见场景叠加的(一个或多个)特征。在另一方面，显示器单元被配置成在画面中的画面内显示与可见场景叠加的特征。
相机包括共用于第一图像捕获传感器和第二图像捕获传感器的透镜组件。相机也包括定位在镜头组件与第一图像捕获传感器和第二图像捕获传感器之间的分束器。在一个方面，相机包括定位在分束器与第二图像捕获传感器之间的滤波器组件。
滤波器组件定位成过滤聚焦在第二图像捕获传感器上的光。在一个方面，滤波器组件为条纹滤波器。在另一方面，滤波器组件为在一个维度上波长线性可变的滤波器。
在一个方面，内窥镜包括照明器和相机。在另一方面，内窥镜安装在第一操纵器上。内窥镜包括相机。外科手术装置安装在第二操纵器上。外科手术装置包括照明器。
在又一方面，外科手术系统包括控制器，该控制器被配置成接收一个可见颜色帧序列和一个高光谱帧序列。控制器被配置成从对应于颜色帧序列中的每个可见颜色帧的高光谱帧序列中的一组高光谱帧产生复合高光谱帧。显示器单元耦合到控制器以针对每个可见帧接收可见帧序列和复合帧。
在一个方面，显示器单元被配置成显示可见帧序列，并且被配置成在可见帧序列的显示器中显示画中画，该画中画为与相应的复合帧叠加的每个可见帧的序列。
在另一方面，外科手术系统包括第一外科手术装置和第二外科手术装置。第一手术装置包括第一图像捕获单元，其被配置成捕获可见颜色帧。第二手术装置包括第二图像捕获单元，其被配置成捕获高光谱帧。第一图像捕获单元和第二图像捕获单元基本上同时捕获可见颜色帧和高光谱帧，并且将图像提供到图像处理单元。
在一个方面，第二外科手术装置包括深度感测单元。在另一方面，第二外科手术装置为套管。
附图说明
图1为计算机辅助外科手术系统的高级示意图，其包括同时的可视和高光谱成像能力。
图2为图1的计算机辅助外科手术系统100的一个示例的方面的更详细的图示。
图3为用于图2中系统的操作的处理流程图。
图4为用于图2的系统中组织照明和图像捕获的时间序列图。
图5a为包含在可见帧中的可见外科手术部位场景的抽象表示。
图5b为图5a的外科手术部位场景的扫描的抽象表示。
图5c为用于图5a的外科手术部位场景的画面内的画面的图示。
图6为图3的空间配准过程的一种实施方式的框图。
图7为使用时间序列高光谱照明捕获的高光谱帧的表示。
图8a为同时捕获可见帧和高光谱帧的与时间恒定高光谱照明一起使用的相机的图示。
图8b为适用于图8a的相机的第一类滤波器的图示。
图8c为适用于图8a的相机的第二类滤波器的图示。
图9为同时捕获可见帧和高光谱帧的与时间恒定高光谱照明一起使用的另一相机的图示。
图10a为包括图8a、图9或图10b的相机中的一个的外科手术装置的图示。
图10b为同时捕获可见帧和高光谱帧的与时间序列高光谱照明一起使用的相机的图示。
图11a为使用本文所描述的外科手术装置的另一计算机辅助外科手术系统的图示。
图11b为图1的计算机辅助外科手术系统或图11a的计算机辅助外科手术系统中使用的两个外科手术装置的更详细的图示。
图12a为在图11a的第一外科手术器械中与时间恒定高光谱照明一起使用的相机的图示。
图12b为在图11a的第一外科手术器械中与时间序列高光谱照明一起使用的相机的图示。
具体实施方式
本发明的方面增强了外科手术装置的视频捕获和视频观看能力，例如计算机辅助外科手术系统，诸如商购自加利福尼亚州桑尼维尔市的直觉外科手术公司(intuitivesurgical,inc.,sunnyvale,california)的
除了外科医生在使用计算机辅助外科手术系统执行外科手术时通常使用的可见图像之外，本发明的方面同时提供识别临床感兴趣的组织或其它特征的替代模态图像。在一个方面，来自感兴趣的组织的高光谱光用于安全且有效地对该组织成像，即使组织可能在外科手术视野的正常可见图像中被遮挡。在另一方面，分析可见光成像和高光谱成像的组合以提供关于先前不可获得的组织或其它身体功能的细节和信息。这里，高光谱光指的是光的光谱信息，其与人类可见的特征无关。
该成像组合可为可见图像和替代图像的叠覆，可触发打开和关闭替代图像的叠覆(例如，通过使用脚踏板或通过双击
图1为例如
如下面更全面地解释的，照明系统(未示出)耦合到内窥镜101或另选地被包括在内窥镜101内。在一个方面，照明系统提供白光照明或白光照明和高光谱光照明的组合。在一个方面，该光的全部或一部分耦合到内窥镜101中的至少一个照明路径。在另一方面，照明源位于内窥镜101的远端尖端处或附近或后端壳体中。在一个方面，可见白光照明和高光谱照明在外科手术进程中都是恒定的。在另一方面，可见光照明在时间上是恒定的，但是高光谱照明的光谱随时间变化。
在这方面，来自内窥镜101的光照明患者111的组织103。在一个方面，内窥镜101为立体内窥镜，其包括两个光学通道(例如，左光学通道和右光学通道)，以用于使来自组织的光(例如，反射的白光和反射或发射的高光谱)通过。在另一个方面，内窥镜101为单视场内窥镜，其包括单个光学通道以用于使来自组织的光(例如，反射的白光和反射或发射的高光谱)通过。
如下面更全面地解释的，对于两种类型的内窥镜，反射的白光被图像捕获系统120捕获为可见光帧121。可见光帧121包括包括组织103的图像的可见场景，并且可见光帧121有时被称为可见帧121。
反射和/或发射的高光谱光被图像捕获系统120捕获为高光谱光帧122。高光谱光帧122包括在内窥镜101的视野中的组织103或其它特征的高光谱场景。高光谱光帧122有时被称为高光谱帧122。图像捕获单元120基本上同时捕获可见帧和高光谱帧。这里，基本上同时、有效地同时、几乎同时和基本上并发地捕获可见帧和高光谱帧意指从人的视角来看，两个帧看起来在同一时间点被捕获。
在一个方面，图像捕获系统120中的相机安装在内窥镜101的近端上。在另一方面，相机安装在内窥镜101的远端中。这里，远端意味着更靠近手术部位且近端意味着更远离手术部位。如下面更全面地解释的，在一个方面，相机通过相同的前端光学器件捕获可见帧和高光谱帧。这与利用专用前端光学系统捕获高光谱帧的系统不同。
在一个方面，在预定时间间隔，基本上与对应的一对立体可见帧121同时地捕获立体的一对高光谱帧122。因此，图像捕获系统120使得能够捕获具有白光场景(例如，可见颜色场景)的帧121，并且也能够捕获在可见颜色场景中不显著的信息，即，捕获高光谱帧122。通常，捕获的高光谱帧122不一定具有与捕获的可见帧121相同的分辨率，因为用于捕获高光谱帧122的传感器的分辨率在某些情况下可小于用于捕获可见帧121的传感器的分辨率。用于实施可见光图像和高光谱图像的图像传感器的技术可基于在成像所需的所需波长范围内的最佳灵敏度、降噪和成像性能的实施方式细节而不同。
因此，捕获一组一个或多个高光谱帧，并且这组高光谱帧空间配准到相应的捕获的可见帧。空间配准意指高光谱帧中的每一个中的空间点被映射成使得捕获的高光谱帧中的每一个中的公共空间点能够被对齐以使得该组高光谱帧能够被叠加或被近似叠加以形成复合高光谱帧，并且复合高光谱帧的空间点被映射到可见帧中的对应空间点，使得复合高光谱帧和可见帧能够被叠加以形成组合帧，其有时被称为增强场景。
手术部位处的组织通常由于例如呼吸、心脏搏动、其它身体运动或蠕动和/或血液流动中的任何一种或任何组合而移动。该移动使得空间配准更加困难，但是在计算机辅助外科手术系统中，相机的位姿(位置坐标和取向坐标)针对捕获的每个图像为已知的并且能够在空间配准过程中被使用。
在一个方面，图像处理系统130产生增强场景141，即，可见帧中的可见场景与通过叠加所述一组高光谱帧形成的复合场景叠加。在一些方面，可见数据和高光谱数据的组合被转换以呈现给外科医生，例如，处理被数据以识别感兴趣的特定特征。增强场景141显示在外科医生控制台114的立体观看器中。由于所述一组高光谱帧捕获在可见场景中不显著的特征(例如，在可见帧的场景中不可见或不清晰可见的特征)，所以增强图像向外科医生提供比在可见场景中可获得的更多的信息，例如感兴趣组织(诸如患病组织、神经、输尿管等)的位置。
在另一方面，外科医生控制台114的立体观看器具有画中画能力。当系统100的用户选择画中画查看模式时，呈现手术部位的正常视图，并且画中画向外科医生呈现具有被强调的非显著特征的手术部位的另一视图。另选地，在画中画查看模式的画面中，向外科医生呈现的手术部位的视图中强调了非显著特征并且画中画被呈现在手术部位的正常视图中。在两种情况下，在两个画面/画面中均呈现相同的可见手术部位场景，但是在增强场景中，可见手术部位场景可在时间上追随在正常视图中的相同手术部位场景。
而且，当深度信息可获得(例如，从立体相机或包括深度感测装置的内窥镜捕获的帧获得)时，能够分析高光谱帧中的信息以确定绝对反射率(与组织的相对反射率相比)。绝对反射率容许例如以绝对值确定患病组织或临床评估肝功能的速率。
图2为图1的计算机辅助外科手术系统100的一个示例的方面的更详细的图示。图3为用于图2中系统的操作的过程流程图，而图4为用于图2的系统中的组织的照明和图像的捕获的时间序列图。时间序列图适用于恒定高光谱照明和时间序列高光谱照明。
在图2的实施例中，计算机辅助外科手术系统100包括为组合光源210的照明器。组合光源210包括可见光照明器211(例如白光源)和高光谱光照明器212。照明器211和照明器212的具体实施方式并不至关重要，只要组合光源210具有下面更完整描述的能力即可。
在该方面，组合光源210与立体内窥镜101中的至少一个照明路径结合使用以照明组织103。在一个方面，组合光源210具有至少两种操作模式：正常观看模式和增强观看模式。在一个方面，增强观看模式被分成恒定高光谱照明模式和时间序列高光谱照明模式。
在正常观看模式中，可见光照明器211提供以白光照明组织103的照明。高光谱光照明器212不在正常观看模式中被使用。
在增强观看模式中，可见光照明器211提供以白光照明组织103的照明。在一个方面，高光谱光照明器212提供以在时间上恒定的高光谱光光谱(例如，红外光谱中的光)照明组织103的照明。在另一方面，高光谱光照明器212提供以时序高光谱光波段(例如，红外光谱中的光波段)照明组织103的照明。
使用红外或近红外光作为高光谱照明的示例仅为说明性的，并不旨在限制该具体的方面。鉴于本公开，本领域技术人员可选择使得捕获的可见帧中的非显著特征在捕获的高光谱帧中显著的高光谱照明。
在一个方面，可见光照明器211针对不同可见颜色照明部件中的每一个均包括一个光源。对于红绿蓝实施方式，在一种示例中，光源为激光器，即一个红色激光器、两个绿色激光器和一个蓝色激光器。
在可见光照明器211中使用激光仅为说明性的，而不旨在为限制性的。可见光照明器211也可用多个led光源代替激光器来实施。另选地，可见光照明器211可使用具有椭圆形后反射器和带通滤波器涂层的氙灯，以产生用于可见图像的宽带白色照明光。氙灯的使用也仅为说明性的，而不旨在为限制性的。例如，可使用高压汞弧灯、其它弧光灯或其它宽带光源。
高光谱光照明器212的实施方式取决于感兴趣的高光谱。通常，一个激光模块、多个激光模块、一个发光二极管或多个发光二极管用作高光谱光照明器212。如果高光谱光照明器212提供时间恒定的高光谱光光谱，则可使用旋转滤波器来滤波高光谱光照明器212的输出，并且因此生成时序高光谱光波段。也可使用线性可变滤波器并且在光路径上滑动。两个此类滤波器也可用于选择性地产生一个照明波段。以这种方式使用的滤波器也可以被图案化以使得当相对于彼此移动时产生期望的光谱光源。
在正常观看模式和增强观看模式中，来自可见光照明器211的光或者来自可见光照明器211的光和来自高光谱光照明器212的光被引导到连接器216中。连接器216将光提供到立体内窥镜101中的照明路径，立体内窥镜101进而将光引导到组织103。连接器216和立体内窥镜101中的照明路径中的每一个均能够例如利用光纤束、单个刚性或柔性杆或光纤来实施。
来自手术部位103(图2)的光由内窥镜101中的立体光学通道(例如，左光学通道和右光学通道，或者另选地第一光学通道和第二光学通道)传递到相机220l、相机220r。如下面更全面地解释的，左相机220l包括左可见颜色图像捕获传感器221l_v和左高光谱图像捕获传感器221l_hs。左可见颜色图像捕获传感器221l_v捕获从立体内窥镜101的左通道接收的可见光作为左可见帧222l_v。左高光谱图像捕获传感器221l_hs捕获从立体内窥镜101的左通道接收的高光谱光或者高光谱和可见光作为左高光谱帧222l_hs。
类似地，右相机220r包括右可见颜色图像捕获传感器221r_v和右高光谱图像捕获传感器221r_hs。右可见颜色图像捕获传感器221r_v捕获从立体内窥镜101的右通道接收的可见光作为右可见帧222r_v。右高光谱图像捕获传感器221r_hs捕获从立体内窥镜101的右通道接收的高光谱光或者高光谱和可见光作为右高光谱帧222r_hs。
左相机220l和右相机220r两者基本上同时捕获可见帧和高光谱帧。捕获的可见帧和捕获的高光谱帧通过相同的前端光学器件被捕获。这与使用专用前端光学器件捕获高光谱图像的现有高光谱图像捕获系统不同。
通常但非必要地，高光谱图像捕获传感器的分辨率小于可见颜色图像捕获传感器的分辨率。例如，可见颜色图像捕获传感器中的像素具有1.2微米至2.2微米范围内的尺寸，而高光谱图像捕获传感器中的像素具有2微米至10微米范围内的尺寸。因此，为了获得有用的高光谱图像，如下面更全面地解释的，使用多个高光谱帧以针对一个时间点生成一个复合高光谱帧。复合高光谱帧包括通常在捕获的可见帧中不显著的信息。
相机220l通过左相机控制单元230l和图像处理模块240耦合到外科医生控制台114中的立体显示器251。图像处理模块240为图像处理系统130的一部分。相机220r通过右相机控制单元230r和图像处理模块240耦合到外科医生控制台114中的立体显示器251。相机控制单元230l、相机控制单元230r从系统处理控制模块262接收信号。系统处理控制模块262表示系统100中的各种控制器。
显示模式选择开关252向用户界面261提供信号，用户界面261进而将所选择的显示模式传递到系统处理控制模块262。系统处理控制模块262内的各种控制器配置照明控制器215、配置左相机控制单元230l和右相机控制单元230r以获取期望的图像以及配置成像处理模块240中处理所获取的场景所需的任何其它元件以便在立体显示器251中向外科医生呈现所请求的场景。除了本文提供的细节之外，成像处理模块240实施与已知图像处理管线等效的图像处理管线。
立体显示器251上的视频输出可通过使用例如脚踏开关、双击用于控制外科手术器械的主握把、视频控件和其它类似的切换方法在正常观看模式和增强观看模式之间转换。用于在观看模式之间切换的转换键在图2中表示为显示模式选择252。
除了以下更完整描述的方面之外，中央控制器260和系统处理控制模块262类似于现有系统。尽管被描述为中央控制器260，但是应当理解，控制器260可在实践中由任何数量的模块实施，并且每个模块可包括部件的任何组合。每个模块和每个部件可包括硬件、在处理器上执行的软件以及固件或这三者的任何组合。
而且，如本文所述，控制器260和系统处理控制模块262的功能和动作可由一个模块执行，或者划分给不同模块上或者甚至划分给一个模块的不同部件上。当划分给不同模块或部件时，模块或部件可集中在一个位置或分布在系统100上以用于分布式处理目的。因此，中央控制器260和系统处理控制模块262不应被解释为需要单个物理实体，因为在一些方面中，两者分布在系统100上。
这里，由相机220l捕获的图像的捕获、处理和显示与由相机220r捕获的图像的捕获、处理和显示相同。因此，在以下描述中，当仅讨论从立体内窥镜的一个通道中的光捕获的帧时，该讨论也可直接应用于从立体内窥镜的另一个通道中的光捕获的帧。因此，不对立体内窥镜的另一通道重复描述。
此外，在单视场内窥镜中，仅可获得与例如由相机220l捕获的帧等效的帧。因此，本文描述的不需要立体图像的方面也可直接应用于单视场内窥镜。
可在例如美国专利申请no.11/762,165(2007年6月23日提交；公开微创外科手术系统)、美国专利no.us6,837,883b2(2001年10月5日提交；公开用于遥控机械外科手术系统的臂车)以及美国专利no.6,331,181(2001年12月28日提交；公开外科手术机械工具、数据结构和使用)中发现关于计算机辅助外科手术系统的进一步信息，所有这些文献都通过引用方式并入本文。
在图2中，相机220l、相机220r和组合光源210被示出为在内窥镜101的外部。然而，在一个方面，相机220l、相机220r和光源210被包括在内窥镜101的邻近组织103的远端末端中；或者在内窥镜101的后端壳体中。
图3为系统100的成像操作300的一个方面的过程流程图。成像操作300包括两个管线(pipeline)，即可见图像处理管线310和高光谱图像处理管线320。除了在一个方面中可见视频序列421l_v、421r_v(图4)被高光谱成像处理管线320保存和使用之外，可见图像处理管线310类似于现有的计算机辅助外科手术系统可见图像处理管线。
在图3的示例中，在增强观看模式中，在一个方面中，可见图像处理管线310和高光谱图像处理管线320两者同时显示视频输出。在另一方面，在增强观看模式中，仅高光谱图像处理管线320显示视频输出。在任一情况下，增强图像处理管线320输出显示器中的通常在可见视频图像序列中不能被观看到的特征或信息。
响应于来自显示模式选择252的用户输入选择正常观看模式，指示正常观看模式的显示器选择信号301(图3)被提供到用户界面261中的“观看模式”检查过程302(图3)，其进而提供白光照明启用控制信号到“用白光照明组织”过程303。在一个方面，用户界面261由用户控制模块生成。
在一个方面，正常观看模式为默认模式。在该方面，不使用显示模式选择252，直至外科医生想要从正常观看模式切换到增强观看模式或从增强观看模式切换到正常观看模式。
“用白光照明组织”过程303将白光操作命令发送到组合光源210中的光控制器215。为了方便起见，光控制器215被示为位于组合光源210内，并且不旨在将光控制器215的位置限制到该特定位置。
响应于白光操作命令，光控制器215关断高光谱光照明器212(如果照明器212处于打开)并且准许可见光照明器211，使得组织103由白光照明。本领域技术人员认识到，代替接通和断开至照明器211和照明器212的电力，控制器215可以始终维护电力接通并且将来自照明器的输出引导到连接器216和引导离开连接器216并且实现相同的结果。
因此，在正常观看操作模式中，“用白光照明组织”过程303致使组织103被白光照明。来自组织103(图2)的可见光通过内窥镜101中的立体光学通道传递到图像捕获系统220。回顾上文，在该方面，图像捕获系统220包括左相机220l和右相机220r，左相机220l包括左可见颜色图像捕获传感器221l_v，右相机220r包括右可见颜色图像捕获传感器221r_v。
因此，在“捕获可见图像”过程304(图3)中，左可见颜色图像捕获传感器221l_v捕获可见左帧，并且右可见颜色图像捕获传感器221r_v捕获可见右帧。获取的左可见帧和右可见帧包括手术部位的带颜色/彩色场景，例如红─绿─蓝场景。
左可见颜色图像捕获传感器221l_v和右可见颜色图像捕获传感器221r_v可均为多个电荷耦合装置(ccd)(每个装置捕获不同的可见颜色分量)、单个ccd(ccd的不同区域捕获一个具体的可见颜色分量)等。三芯片ccd传感器仅为说明性的。具有滤色器阵列的单个cmos图像捕获传感器或三cmos颜色图像捕获传感器组件也可用于左可见颜色图像捕获传感器221l_v和右可见颜色图像捕获传感器221r_v中的每一个。
在获取左可见帧和右可见帧之后，“增强”检查过程305确定观看模式为增强模式还是正常模式。当观看模式被增强时，“增强”检查过程305转移到“保存可见图像”过程306，其保存所获取的左可见帧和右可见帧。当观看模式为正常时，“增强”检查过程305转移到“传输可见图像”过程307。
因此，在正常观看操作模式中，所获取的可见左可见帧和所获取的可见右帧被提供到执行“传输可见图像”过程307(图3)的中央控制器260中的图像处理模块240(图2)。在“传输可见图像”过程307中，完成对所述两个获取的可见帧的任意处理，使得当显示在帧中捕获的场景时，准确地再现相机的观看视野中的手术部位的一部分。该处理与现有系统中的处理相同。“传输可见图像”过程307将经处理的可见左帧和经处理的可见右帧发送到立体显示器251，并且通过立体显示器251在“显示可见图像”过程308中显示立体颜色场景。
除了“增强”检查过程305之外，正常观看操作模式中的处理等同于传统计算机辅助外科手术系统中的处理，并且因此对于本领域技术人员来说是已知的。而且，对于每个帧重复执行过程304、过程307和过程308，使得外科医生看到包括组织103的实时视频场景。
在正常观看操作模式期间，向外科医生提供组织103的正常三维颜色视图。然而，外科医生可能希望看到在组织103的三维视图中强调组织103中的一个或多个感兴趣区域。例如，外科医生会希望看到在组织103的正常三维颜色视图中不可见或不清晰可见的组织病变部分和/或特定组织(例如肌腱或器官)。因此，在时间t0(图4)处，外科医生使用显示模式选择252来切换到具有时间恒定高光谱照明的增强观看操作模式。
时间恒定高光谱照明
响应于来自显示模式选择252的用户输入，指示具有恒定高光谱照明的增强观看模式的增强显示器选择命令被提供给用户界面261中的“观看模式”检查过程302。响应于具有恒定高光谱照明的增强观看模式命令，在这方面，检查过程302向可见图像处理管线310中的“用白光照明组织”过程303提供启用白光照明控制信号，并且向高光谱图像处理管线320中的“用高光谱光照明组织”过程321提供启用高光谱恒定照明控制信号。
上面描述了可见图像处理管线310中的动作，并且因此这里不再针对这种增强观看模式进行重复，因为动作与上述相同。
响应于启用高光谱恒定照明控制信号，“用高光谱光照明组织”过程321将恒定高光谱光操作信号发送到组合光源210中的光控制器215。响应于恒定高光谱光操作信号，光控制器215配置高光谱光照明器212以向连接器216提供时间恒定的高光谱光光谱。
由于“用白光照明组织”过程303将白光操作信号发送到组合光源210中的光控制器215，因此光控制器215配置可见光照明器211以向连接器216提供白光。因此，在该增强模式中，用白光和高光谱光的组合照明组织103。
来自组织103(图2)的光由内窥镜101中的立体光学通道传递到图像捕获系统220。在一个方面，如下面更全面地解释的，滤波器用于选择由相机220l、相机200r(有时称为图像捕获单元220l、图像捕获单元220r)捕获的(一个或多个)高光谱波长光谱。
在这个增强观看操作模式中，在时间t0处，“捕获可见图像”过程304(图3)利用左可见图像捕获传感器221l_v获取第一可见左颜色帧421l_v_t0，并且利用右可见图像传感器221r_v获取第一可见右颜色帧421r_v_t0(图4)。类似地，在时间t0处，“捕获高光谱图像”过程322(图3)利用左高光谱图像捕获传感器221l_hs获取第一高光谱左帧421l_hs_t0，并且利用右高光谱图像捕获传感器221r_hs获取第一高光谱右帧421r_hs_t0。由于图像捕获单元的构造(如下面关于图8a更全面地讨论的)以及可见帧和高光谱帧的捕获过程中的动作同步，“捕获可见图像”过程304和“捕获高光谱图像”过程322基本上同时执行。
如先前所解释的，在时间t0处捕获的第一可见左颜色帧421l_v_t0和第一可见右颜色帧421r_v_t0针对任何增强观看模式由“保存可见图像”过程306保存。“保存可见图像”过程306转移到“画中画(pip)模式”检查过程309。由“保存可见图像”过程306保存的帧可用于“空间配准”过程324。
在一个方面，计算机辅助外科手术系统100的用户使用用户界面来指定画中画增强模式或搜索增强模式。如果用户选择画中画增强模式，则“画中画(pip)模式”检查过程309转移到“传输可见图像”过程307，否则转移到“捕获可见图像”过程304，其在时间t1处捕获另一组可见帧。因此，在画中画增强模式中，可视图像处理管线310在显示器251上生成正常外科手术部位视频帧序列。在搜索增强模式中，可视图像处理管线310不生成手术部位视频序列，并且因此通常，由于生成所显示的场景所需的处理延迟的原因，禁止使用手术器械或限制运动速率。
返回到高光谱图像处理管线320，一旦完成“捕获高光谱图像”过程322，则处理转移到“保存高光谱图像”过程323。“保存高光谱图像”过程323保存第一高光谱左帧421l_hs_t0和第一高光谱右帧421r_hs_t0，并且然后转移到“空间配准”过程324(有时称为过程324)。
如上所解释的，在一些情况下，高光谱帧的高光谱场景的分辨率小于可见帧的可见颜色场景的分辨率。因此，为了获得有用的高光谱图像，必须捕获能够被组合以产生具有可接受分辨率的复合高光谱图像的多个高光谱图像。所述多个高光谱图像中的高光谱图像的数量部分地取决于高光谱光照明器212的输出。
如果高光谱光照明器212输出时间恒定高光谱光光谱，则高光谱图像捕获传感器的每个像素(即左高光谱图像捕获传感器221l_hs的每个像素和右高光谱图像捕获传感器221r_hs的每个像素)仅捕获该像素的位置处的一部分高光谱光光谱。因此，扫描外科手术部位以致能够在场景中的每个位置处测量高光谱光的整个光谱或整个光谱中的至少足够部分，以形成在空间和光谱两者上具有可接受分辨率的复合高光谱帧。这里，可接受分辨率意指如下分辨率，即，使得当针对时间t0产生的复合高光谱图像叠加在时间t0处捕获的相应可视图像上时，能够从复合高光谱帧中导出且在其中呈现的特征足够详细以对观看者有用。
在每个位置处，当在外科手术部位上扫描图像捕获系统220的视野时捕获高光谱帧。在这些位置中的每一个位置处，图像捕获系统220的位姿是已知的，即，相机220l的位姿和相机220r的位姿是已知的。
基于从原始帧提取特征所用的算法的性能，凭经验确定在外科手术部位上扫描所需的高光谱帧的数量。具体地，使用不同数量的位置(在此捕获高光谱帧)来扫描手术部位，并且对于每组高光谱帧，生成复合高光谱帧，如下面更完整地描述的。这产生了一组复合高光谱帧。可要求一组人或算法或神经网络或其它机器学习构造来选择适当地显示感兴趣特征或可从其导出特征的(一个或多个)复合高光谱帧或帧组合。在一个方面，选择需要最少数量的位置来提供感兴趣特征的可接受图像的复合高光谱帧。因此，对于恒定高光谱照明，一组中的高光谱帧的数量n是凭经验确定的，并且因此对于后续情况是已知的。
返回到“空间配准”过程324，过程324分析该组n个高光谱帧，并且然后处理n个高光谱帧以形成包括外科手术部位的复合高光谱场景的复合高光谱帧。在一个方面，通过首先识别高光谱帧中的每个帧中的特征并且然后在该组高光谱帧中逐帧跟踪这些特征，来完成该组中的高光谱帧彼此之间的空间配准。当在所有帧中的一些中已知一个特征或多个特征的位置时，这容许重新对准帧，使得一个特征或多个特征处于复合高光谱图像中的共同位置。因此，特征的跟踪容许该组高光谱帧的叠加。
在一个方面，“保存高光谱图像”过程323将处理转移到“空间配准”过程324的“特征提取”过程325。“特征提取”过程325识别在接收的高光谱帧中的每一个中的特征(有时称为导航界标)。“特征提取”过程325转移到“设置”检查过程326。
图5a为被包含在可见帧510中的可见外科手术部位场景的抽象表示。感兴趣的特征506在帧510中不显著，例如，在可见帧510中包含的可见外科手术部位场景中，特征506隐藏或不可被人辨别。然而，由圆形501、圆形503和圆形505以及三角形502和三角形504表示的导航界标在帧510中为可见并且显著的。在实际外科手术部位场景中，正常的导航界标可为例如血管图案、组织图案或由血管或其它类似结构的交叉产生的不同组织或小特征的图案。因此，当“空间配准”过程324接收到新的高光谱帧时，“特征提取”过程325确定该帧中的导航界标。
“设置”检查过程326确定捕获的高光谱帧的数量是否等于n，其中n为非负整数。一组中的高光谱帧的数量n为在一个通道中捕获的高光谱帧的数量，因此在左通道和右通道的每一个中均捕获一组n个高光谱帧。如果捕获的高光谱帧的数量小于n，则“设置”检查过程326转移到“恒定照明(ill.)模式”检查过程329，但是如果捕获的高光谱图像的数量等于n，则“设置”检查过程326转移到“空间配准”过程324的“追踪特征”过程327和“重置设置计数器”过程328；另选地，n个高光谱帧可作为帧的循环缓冲器被对待，使得计数器索引到n个帧中，并且代替简单的模数n，将n个堆叠中的高光谱帧替换成新的帧。
在时间t0处捕获高光谱图像421l_hs_t0之后，捕获的高光谱图像的数量小于n，并且因此“设置”检查过程326转移到“恒定照明(ill.)模式”检查过程329。在该示例中，高光谱照明光谱在时间上为恒定的，并且因此“恒定照明模式”检查过程329将处理转移到“移动相机”过程330。
“移动相机”过程330将相机220移动到下一个位置以扫描外科手术部位，并且然后重复过程322、过程323、过程324和过程330。因此，在时间t1处，“捕获高光谱图像”过程322(图3)利用左高光谱图像捕获传感器221l_hs获取第二高光谱左帧421l_hs_t1并且利用右高光谱图像捕获传感器221r_hs获取第二高光谱右帧421r_hs_t1(图4)。“捕获可见图像”过程304与“捕获高光谱图像”过程322同步，使得在时间t1处，“捕获可见图像”过程304(图3)利用左可见图像捕获传感器221l_v获取第二可见左颜色帧421l_v_t1，并且利用右可见图像捕获传感器221r_v获取第二可见右颜色帧421r_v_t1。
重复过程330、过程322、过程323、过程324直至时间tn-1处，“捕获高光谱图像”过程322(图3)利用左高光谱图像捕获传感器221l_hs获取第n个高光谱左帧421l_hs_tn-1，并且利用右高光谱图像捕获传感器221r_hs获取第n个高光谱右帧421r_hs_tn-1(图4)，并且“捕获可见图像”过程304(图3)利用左可见图像捕获传感器221l_v获取第n个可见左颜色帧421l_v_tn-1，并且利用右可见图像捕获传感器221r_v获取第n个可见右颜色帧421r_v_tn-1。由于捕获的高光谱帧的数量现在等于n，因此“设置”检查过程326转移到“追踪特征”过程327并且转移到“重置设置计数器”过程328。
图5b为图5a的外科手术部位场景的扫描的抽象表示。场景中的每个框表示捕获的高光谱帧中的一个。图5b未按比例绘制，并且框仅表示捕获的高光谱帧而不表示帧的尺寸。捕获的高光谱帧的尺寸例如通过高光谱图像捕获传感器中的像素的尺寸和数量以及产生图像的光学器件的特性来确定。捕获的高光谱帧包括导航界标501至505中的一些或全部的图像。
“重置设置计数器”过程328重置计数器以获得在一组中捕获的高光谱帧的数量，并且将处理转移到“恒定照明(ill.)模式”检查过程329。在该示例中，输出照明为恒定的，并且因此“恒定照明模式”检查过程329将处理转移到“移动相机”过程330。
“移动相机”过程330移动相机220以扫描外科手术部位，并且然后对第二组捕获的高光谱帧重复过程322、过程323、过程324和过程330。因此，在时间tn处，“捕获高光谱图像”过程322(图3)在第二组高光谱图像中利用左高光谱图像捕获传感器221l_hs获取第一高光谱左帧421l_hs_tn，并且利用右高光谱图像捕获传感器221r_hs获取第一高光谱右帧421r_hs_tn。在时间tn处，“捕获可见图像”过程304(图3)利用左可见图像捕获传感器221l_v获取第n+1个可见左颜色帧421l_v_t1，并且利用右可见图像捕获传感器221r_v获取第n+1个可见右颜色帧421r_v_t1。
以与刚刚针对第一组描述的方式相同的方式对第二组高光谱图像重复过程330、过程322、过程323、过程324。如果使用循环缓冲技术实现获取，则高光谱图像组始终包括n个最近的帧，并且上述过程填充n个深度的缓冲器。也要注意，高光谱帧之间的时间间隔可大于或小于可见光帧之间的时间间隔─对外科医生示出的图像的重新对准和组成没有根本改变。
回顾上文，一旦完成第一组高光谱图像的捕获，处理转移到“空间配准”过程324的“跟踪特征”过程327。在高光谱帧中捕获的可见导航界标501至505使得能够实现组织跟踪过程以便对准在不同时间点捕获的高光谱帧中获取的光谱数据，以形成时间t0的复合高光谱图像。由于在时间t0处捕获的高光谱帧与在时间t0处捕获的可见帧之间的空间关系是已知的，因此复合高光谱帧可与在时间t0处捕获的可见帧510叠加，即使高光谱外科手术部位场景中的对象的位置可随时间稍微改变仍如是。另选地，高光谱图像中的特征可与可见图像中的对应可见特征对准，以将每个高光谱帧对准可见帧。在又一方面，高光谱图像中的特征用于对准高光谱图像，并且然后复合高光谱帧与可见帧对准。从相机制造商校准中已知高光谱传感器与可见传感器对准。
因此，在一个方面，“空间配准”过程324，特征为使用例如尺度不变特征变换(sift)计算机生成的，并且这些计算机生成的特征与视觉同时定位和映射(vslam)模型一起使用，其中随着组织移动(由于呼吸和心率等)且随着跟踪捕获框架的相机的位置和取向，随时间跟踪组织表面上的特征(点的位置)。未详细描述sift和vslam，因为两者的组合为已知的。例如，参见niklaskarlsson,luisgoncalves,marioe.munich和paolopirjanian，“用于自然环境中导航的vslam算法”，韩国机械学会评论，第2卷，第1期，pp.51-67,2005，该文献通过引用方式并入本文。
另外，如果相机系统为立体的，则来自在每个时刻捕获的一对高光谱帧或可见帧的附加信息可用于改善随时间对组织的跟踪。每对立体高光谱帧或可见帧都可用于产生外科手术场景的深度图。该深度图提供有关关于时间何种特征可见的信息，并且因此提高了跟踪一些特征的能力。
图6为执行“空间配准”过程324的空间配准模块624的一个实施方式的框图。特征提取模块625中的sift分析器模块601接收由相机220捕获的所述一组高光谱帧中的每一帧作为输入。sift分析器模块601检测该组中每个捕获的高光谱帧中的特征的位置，并且将表征特征的信息保存在界标数据库603中。这里，相机220为相机220r和相机220l中的一个。回顾上文，捕获的左高光谱帧组和捕获的右高光谱帧组的处理是相同的。在这方面，提取模块625执行“特征提取”过程325。类似地，也处理可视帧并且提取它们的特征。
空间配准模块624中的检查模块626执行先前描述的“设置”检查过程326。
针对每个高光谱帧和可见帧(可已在不同时刻被捕获)，相机控制器630向vslam分析器模块602提供相机位姿。vslam分析器模块602被包括在空间配准模块624的跟踪模块627中。在这方面，跟踪模块627执行“跟踪特征”过程327。
vslam分析器模块602使用界标数据库603中的信息并且随时间跟踪界标的位置，使得该组中的帧可叠加以形成由“空间配准”过程625输出的复合高光谱帧605。相机位姿信息使跟踪过程更加稳健。
如上所描述的，模块624、模块625、模块626、模块627、模块601和模块602中的每一个都可包括硬件、rtl、在处理器上执行的软件、固件或这些的任何组合。
因此，返回图3，“空间配准”过程324的结果为由捕获的一组高光谱帧形成的复合高光谱帧。高光谱帧中的像素对应于在时间t0处捕获的可见帧中的像素，使得当复合高光谱帧叠加在时间t0处捕获的可见帧上时，特征506处于正确位置并且为可见的。当这两个帧叠加时，复合高光谱帧中的特征相对于可见帧被强调。例如，复合高光谱帧中的特征可使用通常在外科手术场景场景中看不到的颜色(例如，绿色)进行伪着色。在另一方面，组合的可视和高光谱图像例如通过机器学习分类器或类似过程来处理以识别特定组织类型等。
可以以一些方式结合可见帧进一步处理高光谱帧以产生复合输出，这导致一些外科医生在一些时间难以在图像中看到的特征的视觉显著性增加。例如，复合图像可以强调根本不出现在可视图像中的结构，并且因此向外科医生提供信息。从高光谱数据和可见图像产生的这些增强图像可揭示非常有经验的外科医生可确定但是住院医生或助手可难以确定的信息。
一旦完成，“空间配准”过程324转移到可选的“特定特性确定”过程331(有时称为过程331)。过程331为可选的，因为当使用立体内窥镜时并且当需要诸如来自组织的光的绝对反射或发射的参数来解释待显示的图像中的信息(即所显示的场景)时利用该过程。
因此，“空间配准”过程324或“特定特性”过程331转移到“传输可见和复合图像”过程332(有时称为过程332)。过程332将针对时间t0的可见帧421r_v_t0和可见帧421l_v_t0以及复合高光谱帧发送到立体显示器251，或者另选地发送在两个通道的每一个中的可见和高光谱图像的叠加。在“显示可见和复合图像”过程333中由立体显示器显示的图像取决于由系统100的用户选择的具体增强显示模式。
例如，在仅搜索增强模式中，“pip模式”检查过程309不转移到“传输可见图像”过程307，并且因此在“显示可见和复合图像”过程333中，与包括感兴趣特征506的复合高光谱场景叠加的包括组织103的立体颜色可见场景被呈现在立体显示器251上。在该模式中延迟在立体显示器上的初始显示以提供高光谱图像处理管线320所需的处理时间(例如约100至500毫秒)，并且然后将连续视频序列呈现给系统100的用户。
在另一方面，在画面增强模式中的画面中，“pip模式”检查过程309转移到“传输可见图像”过程307，过程307进而转移到“显示可见图像”过程308，其在立体显示器251上显示包括组织103的可视场景的视频序列作为主显示场景520(图5c)。“显示可见和复合图像”过程333呈现与与包括感兴趣特征506的复合高光谱场景叠加的包括组织103的立体颜色可见场景，该复合高光谱场景作为在立体显示器251上的画面场景525内的画面。
由于高光谱图像处理管线320比可见图像处理管线310需要更多的处理时间，因此在画中画中带有叠加的复合图像的组织103的可见图像在时间上追随主显示场景520。然而，画中画中的可见图像与主显示场景520中出现的可见图像相同。例如，帧421r_v_t0和帧421l_v_t0显示在主显示场景520中，并且然后在一段时间之后，与时间t0的复合高光谱帧叠加的帧421r_v_t0和帧421l_v_t0显示在画面场景525内的画面中。然而，由于两个显示中的可见图像场景为相同的，因此画面场景内的画面中的轻微延迟对于系统100的用户为可接受的。
时间序列高光谱照明
在先前的高光谱图像处理管线320的示例中，假设高光谱照明在时间和光谱上为恒定的，并且相机在场景上扫描以捕获可组合以形成复合帧的高光谱帧，即使捕获的场景的一部分相对于时间移动。然而，在另一示例中，高光谱照明的光谱在时间上序列地变化，并且针对高光谱照明的每个时间序列波段捕获一个高光谱帧，或者另选地针对高光谱照明的每个时间序列波长捕获一个高光谱帧。如本文所使用，高光谱光的波段为高光谱光的光谱。如果波段仅包括单个波长，则该波段(通常为波长的范围)和该波长是相同的。同样，被捕获的场景的方面可随时间移动，并且因此在每个帧中可捕获相同的场景，捕获的场景内的元素的位置可以随帧是变化的。
在考虑具有时间序列照明的高光谱图像处理管线320之前，图7为经由高光谱图像处理管线320捕获的高光谱帧序列的图示。如果使用立体图像捕获系统，则图7中的帧序列表示捕获的左高光谱帧和右高光谱帧两者。在时间t0处，用高光谱光波段l0照明组织103，并且来自组织103的高光谱光被捕获在帧821_hs_t0中。在时间t1处，用高光谱光波段l1照明组织103，并且来自组织103的高光谱光被捕获在帧821_hs_t1中。在时间t2处，用高光谱光波段l2照明组织103，并且来自组织103的高光谱光被捕获在帧821_hs_t2中。在时间tn-1处，用高光谱光波段ln-1照明组织103，并且来自组织103的高光谱光被捕获在帧821_hs_tn-1中。在时间tn处，用高光谱光波段l0照明组织103，并且来自组织103的高光谱光被捕获在帧821_hs_tn中。
这里，第一高光谱光波段l0、第二高光谱光波段l1、第三高光谱光波段l2......以及第n高光谱光波段中的形容词第一、第二、第三......第n并不意指暗示波段中波长的任何顺序或波段相对于波长的任何顺序，而是使用不同的高光谱光光谱。而且，如下所解释的，每个高光谱帧基本上与可见颜色帧同时被捕获。基本上同时的含义与上文所描述的相同。
因此，在该示例中，使用n个波段，其中n为等于或大于2的整数。所使用的序列波段的数量n为已知的，并且通常取决于感兴趣的组织。通常，使用少于十个不同的序列波段，但是也可使用十个以上的序列波段。例如，在一个方面，三个波段用于对输尿管成像。参见美国专利申请no.62/092,651(2014年12月16日提交，并且公开了“使用波段选择性成像的输尿管检测”)，其全部内容通过引用方式并入本文。
返回图3，响应于来自显示模式选择252的用户输入，向用户界面261中的“观看模式”检查过程302提供指示具有时间序列高光谱照明的增强观看模式的增强显示选择命令。响应于具有时间序列高光谱照明命令的增强观看模式，在这方面，检查过程302向可见图像处理管线310中的“用白光照明组织”过程303提供启用白光照明控制信号，并且向高光谱图像处理管线320中的“用高光谱光照明组织”过程321提供启用高光谱时间序列照明启用信号。
上面描述了可见图像处理管线310中的动作，因此这里针对该增强观看模式不再重复，因为动作与上述相同。
响应于高光谱时间序列照明控制信号，“用高光谱光照明组织”过程321将时间序列高光谱光操作信号发送到组合光源210中的光控制器215。响应于时间序列高光谱光操作信号，光控制器215配置高光谱光照明器212以向连接器216提供第一高光谱光波段l0。
由于“用白光照明组织”过程303将白光操作信号发送到组合光源210中的光控制器215，因此光控制器215配置可见光照明器211以向连接器216提供白光。因此，在该增强模式中，用白光和第一高光谱光波段的组合照明组织103。
来自组织103(图2)的光由内窥镜101中的立体光学通道传递到图像捕获系统220。在该增强观看操作模式中，在时间t0处，“捕获可见图像”过程304(图3)利用左可见图像捕获传感器221l_v获取第一可见左颜色帧421l_v_t0，并且利用右可见图像捕获传感器221r_v获取第一可见右颜色帧421r_v_t0。类似地，在时间t0处，“捕获高光谱图像”过程322(图3)利用左高光谱图像捕获传感器221l_hs获取第一高光谱左帧421l_hs_t0，并且利用右高光谱图像捕获传感器221r_hs获取第一高光谱右帧421r_hs_t0(图4)。由于图像捕获单元的构造(如下面关于图10b更全面地讨论的)以及可见帧和高光谱帧的捕获过程中的动作同步，“捕获可见图像”过程304和“捕获高光谱图像”过程322基本上同时执行。
如前所述，在时间t0处捕获的第一可见左颜色帧421l_v_t0和第一可见右颜色帧421r_v_t0针对任何增强观看模式由“保存可见图像”过程306保存。“保存可见图像”过程306转移到“画中画(pip)模式”检查过程309。由“保存可见图像”过程306保存的帧可用于“空间配准”过程324。“画中画(pip)模式”检查过程309如上所述操作，并且因此这里不再重复描述。
返回到高光谱图像处理管线320，一旦完成“捕获高光谱图像”过程322，则处理转移到“保存可见图像”过程323。“保存高光谱图像”过程323保存第一高光谱左帧421l_hs_t0和第一高光谱右帧421r_hs_t0，并且然后转移到“特征提取”过程325。
在一个方面，过程325等同于上面的描述，并且因此这里不再重复描述。“特征提取”过程325将处理转移到“设置”检查过程326。
同样，组成一组所需的高光谱帧的数量n为已知的。如上所描述的，高光谱帧的高光谱场景的分辨率可远小于可见帧的可见颜色场景的分辨率。因此，在此类情况下，为了获得临床上有用的高光谱图像，需要捕获能够被组合以产生具有可接受分辨率的复合高光谱图像的多个高光谱图像。所述多个高光谱图像中的高光谱图像的数量取决于所使用的照明波段的数量n。
在这方面，高光谱光照明器212以时间序列输出高光谱光波段，例如，在时间t0处的第一波段l0、在时间t1处的第二波段l1等，该组高光谱图像中的高光谱图像的数量等于由高光谱光照明器212输出的时间序列照明波段的数量n。如果高光谱光照明器212以时间序列输出不同的高光谱光波段，例如，在时间t0处的第一波段l0、在时间t1处的第二波段l1等，并且针对每个波段在外科手术部位上扫描相机220的观看视野，则针对每个波段的一组高光谱图像中的高光谱图像的数量以与针对来自高光谱光照明器212的时间恒定输出所描述的方式等效的方式凭经验确定。在这方面，有两个数量需要控制。第一个数量为针对每个波段在外科手术部位的空间扫描中捕获的高光谱帧的数量m，第二个数量k为所使用的时间序列波段的数量。在这方面，对于波段中的每个，使用m个高光谱帧以与恒定照明示例等效的方式形成复合高光谱帧。这产生了k个复合高光谱帧。然后针对时间序列照明使用配准过程叠加所述k个复合帧，以形成最终复合图像。
对于没有空间扫描的时间序列高光谱照明，一组中的高光谱帧n的数量为已知的，并且“设置”检查过程326确定捕获的高光谱帧的数量是否等于n，其中n为非负整数。一组中的高光谱帧的数量n同样为在一个通道中捕获的高光谱帧的数量，并且因此在左通道和右通道的每一个中均捕获一组n个高光谱帧。如果捕获的高光谱帧的数量小于n，则“设置”检查过程326转移到“恒定照明(ill.)模式”检查过程329，但是如果捕获的高光谱图像的数量等于n，则“设置”检查过程326转移到“追踪特征”过程327以及“重置设置计数器”过程328。
在时间t0处捕获高光谱图像421l_hs_t0之后，捕获的高光谱图像的数量小于n，并且因此“设置”检查过程326转移到“恒定照明(ill.)模式”检查过程329。在该示例中，输出照明为时间序列的，并且因此“恒定照明模式”检查过程329将处理转移到“用高光谱光照明组织”过程321。
在一个方面，“用高光谱光照明组织”过程321使用设置计数器的值来确定照明组织103的波段。因此，在该示例中，“用高光谱光照明组织”过程321将针对第二波段l1的时间序列高光谱光操作信号发送到组合光源210中的光控制器215。响应于针对第二波段l1的时间序列高光谱光操作信号，光控制器215配置高光谱光照明器212以向连接器216提供第二高光谱光波段l1。因此，用第二高光谱光波段l1照明组织103。
一旦完成“用高光谱光照明组织”过程321，则重复过程322、过程323、过程324、过程325和过程326。因此，在时间t1处，“捕获高光谱图像”过程322(图3)利用左高光谱图像捕获传感器221l_hs获取第二高光谱左帧421l_hs_t1，并且利用右高光谱图像捕获传感器221r_hs获取第二高光谱右帧421r_hs_t1。“捕获可见图像”过程304与“捕获高光谱图像”过程322同步，使得在时间t1，“捕获可见图像”过程304(图3)利用左可见图像捕获传感器221l_v获取第二可见左颜色帧421l_v_t1，并且利用右可见图像捕获传感器221r_v获取第二可见右颜色帧421r_v_t1。
重复过程329、过程321、过程322、过程323、过程325和过程326直至时间tn-1处，“捕获高光谱图像”过程322(图3)利用左高光谱图像捕获传感器221l_hs获取第n个高光谱左帧421l_hs_tn-1，并且利用右高光谱图像捕获传感器221r_hs获取第n个高光谱右帧421r_hs_tn-1，以及“捕获可见图像”过程304(图3)利用左可见图像捕获传感器221l_v获取第n个可见左颜色帧421l_v_tn-1，并且利用右可见图像捕获传感器221r_v获取第n个可见右颜色帧421r_v_tn-1。由于捕获的高光谱帧的数量现在等于n，因此“设置”检查过程326转移到“追踪特征”过程327并且转移到“重置设置计数器”过程328。
“重置设置计数器”过程328重置用于在一组中捕获的高光谱帧的数量的计数器，并且将处理转移到“恒定照明(ill.)模式”检查过程329。注意，过程328用于便于讨论并不旨在为必需的。如上所指示，如果使用循环缓冲器，则不必跟踪捕获的帧的数量。而且，如果使用旋转滤波器或者与组合光源200地结合使用在n个事件之后再循环的控制逻辑，则不需要维护和重置计数器。
在该示例中，输出照明为时间序列的，并且因此“恒定照明模式”检查过程329将处理转移到“用高光谱光照明组织”过程321。“用高光谱光照明组织”过程321将针对波段l0的时间序列高光谱光操作信号发送到组合光源210中的光控制器215。响应于针对波段l0的时间序列高光谱光操作信号，光控制器215配置高光谱光照明器212以向连接器216提供第一高光谱光波段l0。因此，在时间tn处，“捕获高光谱图像”过程322(图3)在第二组高光谱图像中利用左高光谱图像捕获传感器221l_hs获取第一高光谱左帧421l_hs_tn，并且利用右高光谱图像捕获传感器221r_hs获取第一高光谱右帧421r_hs_tn。在时间tn处，“捕获可见图像”过程304(图3)利用左可见图像捕获传感器221l_v获取n+1个可见左颜色帧421l_v_t1，并且利用右可见图像捕获传感器221r_v获取n+1个可见右颜色帧421r_v_t1。根据需要，以与刚刚针对第一组描述的相同方式对第二组高光谱图像重复过程322、过程323、过程324。
回顾上文，一旦完成第一组高光谱图像的捕获，则处理也转移到“跟踪特征”过程327。“跟踪特征”过程327至“显示可见和复合图像”过程333如先前所描述起作用，并且因此这里不再重复描述。
上述示例假设针对时间序列高光谱照明和针对时间恒定高光谱照明的“空间配准”过程324为相同的过程。这仅是说明性的并不旨在进行限制。
在另一方面，不同的“空间配准”过程324用于时间序列高光谱照明。在这方面，使用立体内窥镜，并且因此可以针对每个高光谱照明波段均形成一个高光谱深度图。因此，通过使用在左图像和右图像之间的立体对应，产生n个高光谱深度图。
由于相机位姿对于n个高光谱深度图未改变，因此n个高光谱深度图可用于对准n个高光谱帧，使得这些帧可组合以形成复合高光谱帧。可以通过使用最小化过程找到深度图之间的最佳匹配来完成对准，该最小化过程通过最小化点云之间的平方和距离来找到最接近的匹配。例如，可使用迭代最近点过程。复合高光谱帧以与以上针对时间恒定照明所述相同的方式叠加在可见帧上。
用于时间恒定照明的图像捕获单元
图8a为适合用作具有时间恒定高光谱照明源和白光照明源的相机220l和相机220r的图像捕获单元920的一个方面的图示。在该示例中，来自内窥镜101中的一个或多个照明通道的光照明组织103。虽然未在图8a中示出，但是内窥镜101的观看视野内的一个或多个手术器械也可经由来自一个或多个照明通道的光照明。使用内窥镜中的一个或多个照明通道仅为说明性的，并不旨在限制本说明书中呈现的各种示例。照明可由内窥镜中的照明源提供，或者由内窥镜内部或外部的一些其它设备提供。
从组织103反射的光和任何荧光由透镜组件905作为光901接收。透镜组件905可包括将所接收的光引导到传感器组件921的多个光学部件中的一个。注意，透镜组件不包括用于处理高光谱光的任何类型的狭缝。在一些方面，透镜组件905被折叠。
来自透镜组件905的光传递到传感器组件921。在一些方面，透镜组件905不校正纵向颜色。
在传感器组件921内，在这方面，光被布置在分束器立方体910的对角线上的分束器911接收。在一个方面，分束器911被实施为被掩盖涂覆表面。
分束器立方体的使用仅为说明性的，而并不旨在进行限制。例如，分束器911可为漂浮在空间中的滤波器。
分束器911将从透镜组件905接收的光的第一部分902引导到可见颜色图像捕获传感器921_v，并且将从透镜组件905接收的光的第二部分903引导到配准辅助滤波器组件940(有时称为滤波器组件940)。在图8a的示例中，分束器911将从透镜组件905接收的光的第一部分902反射到可见颜色图像捕获传感器921_v，并且将从透镜组件905接收的光的第二部分903传输到滤波器组件940。在本文描述的每个方面中，光被引导到图像捕获传感器的表面上，并且因此为了简洁起见，这被描述为将光引导到图像捕获传感器上。
光的第一部分902和光的第二部分903中的光的波长由分束器911的特性确定。在一个示例中，分束器911被配置成使得光的第一部分902为从透镜组件905接收的可见光的第一部分，并且光的第二部分903为从透镜组件905接收的可见光的第二部分和从透镜组件905接收的高光谱光的组合。在一个示例中，分束器911被配置成使得第一部分902为从透镜组件905接收的可见光，例如，波长为700纳米(nm)和更小的光，并且光的第二部分903为从透镜组件905接收的可见光和高光谱光的组合，例如波长大于700纳米且小于或等于2.4微米的光。
可见光的第一部分902聚焦在可见颜色图像捕获传感器921_v上。在一个方面，可见颜色图像捕获传感器921_v捕获具有在400纳米至700纳米范围内的波长的光。例如，可见颜色图像捕获传感器921_v为具有拜耳红─绿─蓝滤色器阵列或红─绿─蓝─白滤色器阵列的小像素cmos图像捕获传感器。可见颜色图像捕获传感器921_v(有时称为传感器921_v)耦合到机械和电子器件927。机械和电子器件927包括用于保持传感器921_v的机械器件和连接到传感器921_v的电子器件。
来自透镜组件905的光的第二部分903聚焦在高光谱图像捕获传感器921_hs上。高光谱图像捕获传感器921_hs包括构成帧的多行和多列像素。因此，高光谱图像捕获传感器921_hs捕获信息的帧，而不是像一些现有技术的高光谱相机那样一次仅捕获一行或一列信息。
在一个方面，高光谱图像捕获传感器921_hs捕获具有在700纳米至2.4微米范围内的波长的光。捕获的波长范围取决于滤波器组件940的特性，这将在下面更全面地描述。高光谱图像捕获传感器921_hs为单色大像素图像捕获传感器，例如具有5微米至20微米像素的ingsas传感器或具有类似尺寸像素的hgcdte传感器。
高光谱图像捕获传感器921_hs和可见颜色图像捕获传感器921_v可用不同的半导体技术来实现，可具有不同或相同的快门，例如可见颜色图像捕获传感器921_v使用滚动快门并且高光谱图像捕获传感器921_hs使用全局快门。快门方法为所选半导体工艺中像素实施方式的特性。图像传感器921_v和921_hs可放置在距透镜905背面不同的距离处，因为图像传感器的位置是独立的——棱镜910与图像传感器921_v之间的间隙不需要等于从棱镜910到图像传感器921_hs的距离，因此，每个传感器均能够独立地聚焦。由于半导体特性可不同，所以图像传感器921_hs和图像传感器921_v可具有不同的像素尺寸。如果一个成像器的启用区域小于另一个，则该传感器的图像将覆盖由另一个传感器看到的图像的一部分。
高光谱图像捕获传感器921_hs(有时称为传感器921_hs或图像传感器921_hs)耦合到机械、冷却和电子器件926。机械、冷却和电子器件926包括用于保持传感器921_hs的机械器件、用于传感器921_hs的冷却器件以及连接到传感器921_hs的电子器件。
如上所述，入射在高光谱图像捕获传感器921_hs上的光通过滤波器组件940。在一个方面，滤波器组件940包括第一陷波滤波器941。陷波滤波器941为线性可变的(例如在宽度上)，如在滤波器941的左侧上传输九百纳米波长(λ)的光，并且在滤波器941的右侧上传输一千二百纳米波长的光。
在另一方面，滤波器组件940包括第二陷波滤波器942。陷波滤波器942包括两组多个条纹——由暗条纹表示的第一多个条纹943和用白色条纹表示的第二多个条纹944。第一多个条纹943中的每一个传递(即，传输)一个高光谱光波段并且阻挡光的另一波段。暗条纹中的每个可通过一个不同的高光谱光波段，或者另选地一些条纹可通过一个相同的高光谱光波段。例如，图案可为12342233441111114123等，其中每个不同的数字表示一个不同的高光谱光波段。因此，在该示例中，通过陷波滤波器942将四个不同的高光谱光波段传递到传感器921_hs。此外，多个条纹943中的条纹不必关于波长具有任何特定顺序。而且，多个条纹943中的条纹不需要具有恒定的宽度。在另一方面，在线性可变陷波滤波器941上形成透明条纹以形成陷波滤波器942。
第二多个条纹944中的每一个都是透明的，使得第二多个条纹944传递(即，传输)可见光。第二多个条纹944中的条纹不需要具有恒定的宽度。如先前所描述，由高光谱图像捕获传感器921_hs捕获的可见光用于将高光谱帧空间配准到相应的可见帧。第二多个条纹944中的条纹可为随机图案、规则图案或者由用于制作所需陷波滤波器的组装过程所规定的图案。
第一多个条纹942中的一些条纹可为黑色条纹，其不传输任何光。黑色条纹提供在捕获的帧中的局部黑色级别。而在图8c中，条纹被示为是竖直条纹，该条纹能够是水平的、竖直的或由点的随机图案形成。
图9为立体内窥镜1002的远端的框图，该远端包括适合用作相机220的立体相机1020。相机1020与时间恒定高光谱照明光源和白光照明光源一起使用。
立体相机1020包括左图像捕获单元1020l(有时称为相机1020l)、右图像捕获单元1020r(有时称为相机1020r)和照明通道1005。每个图像捕获单元1020r、1020l均包括透镜组件1001r、1001l和传感器组件1025r、1025l。传感器组件1025r、1025l定位成接收穿过透镜组件1001r、1001l的光。在一个方面，每个传感器组件1025r、1025l均包括：棱镜组件1030r、1030l；反射组件1040r、1040l；以及在此方面共面图像捕获传感器(1010r_v、1015r_hs)、(1010l_v、1015l_hs)。立体内窥镜1002为立体内窥镜101的示例。
如图9所示，立体内窥镜1002(有时称为内窥镜1002)的远端中的每个立体通道具有相同的部件配置。在该图9的方面中，图像捕获单元1020l(用于左立体通道)和图像捕获单元1020r(用于右立体通道)关于与内窥镜1002的中心线纵向轴线1090相交的平面对称(即，它们定位为彼此的镜像)。如箭头1035所示，远端方向朝向组织1003并且近端方向远离组织1003。
在该示例中，来自内窥镜1002中的一个或多个照明通道1005的光照明组织1003。虽然未在图9中示出，但是内窥镜1002的观看视野内的一个或多个外科手术器械也可经由来自照明通道1005的光照明。使用内窥镜中的照明通道仅为说明性的，并不旨在限制本说明书中呈现的各种示例。照明可由内窥镜中的照明源提供，或者由内窥镜内部或外部的一些其它设备提供。
从组织1003反射的光和任何荧光由透镜组件1001l和透镜组件1001r接收。透镜组件1001l和透镜组件1001r中的透镜1004l和透镜1004r可分别包括将所接收的光分别引导到传感器组件1025l和传感器组件1025r的多个光学部件中的一个。在另一些方面，透镜组件1001l和透镜组件1001r被折叠。
来自透镜1004l和透镜1004r的光分别传递到传感器组件1025l、传感器组件1025r。在传感器组件1025l、传感器组件1025r内，分束器1031l和分束器1031r分别在分束器立方体1030l、分束器立方体1030r中接收光。在一个方面，分束器1031l和分束器1031r中的每一个被实施为是被掩盖涂覆表面1031l、涂覆表面1031r。如上所解释的，分束器1031l、分束器1031r中的每个上的一个或多个涂层被选择成提供具体的功能。被掩盖涂覆表面的特性等同于上面对分束器911所描述的特性。
分束器1031l将所接收的光的第一部分引导到图像捕获单元1020l中的第一可见颜色图像捕获传感器1010l_v上(例如，引导到可见颜色图像捕获传感器1010l_v的表面1011l_v上)，并且将所接收的光的第二部分引导到反射组件1040l。类似地，分束器1031r将所接收的光的第一部分引导到图像捕获单元1020r中的第二可见颜色图像捕获传感器1010r_v上(例如，引导到可见颜色图像捕获传感器1010r_v的表面1011r_v上)，并且将所接收的光的第二部分引导到反射组件1040r。
来自分束器1031l和分束器1031r的光分别由反射组件1040l和反射组件1040r接收。反射单元1040l将所接收的光引导到第一配准辅助滤波器组件1050l(有时称为滤波器组件1050l)。穿过滤波器组件1050l中的滤波器的光聚焦在高光谱图像捕获传感器1015l_hs上，例如，反射单元1040l将所接收的光聚焦到图像捕获单元1020l中的高光谱图像捕获传感器1015l_hs的表面1016l上。类似地，反射单元1040r将所接收的光引导到第二配准辅助滤波器组件1050r(有时称为滤波器组件1050r)。穿过滤波器组件1050r中的滤波器的光聚焦在高光谱图像捕获传感器1015r_hs上，例如，反射单元1040r将接收的光聚焦到图像捕获单元1020r中的高光谱图像捕获传感器1015r_hs的表面1016r_hs上。在本文描述的每个方面中，光被引导到图像捕获传感器的表面上，并且因此为了简洁起见，这被描述为光被引导到图像捕获传感器上。
反射组件1040l和反射组件1040r中的每一个均包括反射表面1041l、1041r，例如镜面，其反射所接收的光。在图9的示例中，反射组件1040l和反射组件1040r均被实施为一个面具有反射涂层的棱镜，或者均使用棱镜的斜边上的全内反射来实施。在一个方面，由包括反射表面1041r的平面与包括图像捕获传感器1010r_v的表面1011r和图像捕获传感器1015r_hs的表面1016r_hs的平面的交叉形成的角度θ为45度角，并且因此棱镜被称作为四十五度角的棱镜。当接近表面1014r的介质为空气且因此表面1041r为反射表面时，四十五度角棱镜的表面1041r展现出全内反射。
可见颜色图像捕获传感器1010l_v和高光谱图像捕获传感器1015l_hs是共面的，即顶部传感器表面1011l_v和顶部传感器表面1016l_hs实际上在同一平面中。传感器1010l_v和传感器1015l_hs的底表面位于由平台1012的第一表面限定的平面上。类似地，可视图像捕获传感器1010r_v和高光谱图像捕获传感器1015r_hs是共面的，例如，顶表面1011r_v和顶表面1016r_hs实际上在同一平面中。传感器1010r_v和传感器1015r_hs的底表面位于由平台1012的第二表面限定的平面上。平台1012可由两个平面零件(例如，沿轴线1090粘合的两个陶瓷零件)组成。平台1012的第一表面与平台1012的第二表面相反并且从平台1012的第二表面移除。
在一个方面，包括两个图像捕获传感器1010r_v、图像捕获传感器1015r_hs的第一半导体管芯1017r安装在第一陶瓷平台上。包括两个图像捕获传感器1010l_v、图像捕获传感器1015l_hs的第二半导体管芯1017l安装在第二陶瓷平台上。然后将两个陶瓷平台粘合在一起以形成平台1012。到两个管芯1017r、管芯1017l的导线穿过平台1012中的一个或多个通道。在使用在管芯中的两个图像捕获传感器仅为说明性的而不是限制性的。在一些方面，所述两个图像传感器在单独/分开的管芯中。(见图8a)。
在一些方面，可不使用平台1012，并且两组图像捕获传感器被包括在单个结构中，该单个结构被配置成提供与电源、控制和视频线缆的必要连接。而且，如图9所示的在图像捕获单元中使用两个共面图像捕获传感器仅为说明性的而不旨在为限制性的。
图像捕获传感器的共面配置不需要校准来补偿由图像捕获传感器1010r_v/1015r_hs(第一对)和图像捕获传感器1010l_v/1015l_hs(第二对)捕获的不同图像的透镜伪像和重新配准。如上所描述的，给定一对中的两个图像捕获传感器之间的空间关系为恒定的，并且由于给定一对中的图像捕获传感器共用一个公共透镜组件，(即，公共前端光学结构)，所以由所述两个图像捕获传感器捕获的一对图像的空间配准随时间且在改变光学条件(诸如改变焦点)期间保持恒定。在单视场内窥镜中，仅使用图像捕获单元1020l、图像捕获传感器1020r中的一个。
可见颜色图像捕获传感器1010r_v和可见颜色图像捕获传感器1010l_v均等同于可见颜色图像捕获传感器921_v。因此，这里不再重复上面关于可见颜色图像捕获传感器921_v描述的方面。
滤波器组件1050l和滤波器组件1050r均等同于滤波器组件940。因此，这里不再重复上面关于配准辅助滤波器组件940以及关于滤波器941和滤波器942描述的方面。
用于时间序列照明的图像捕获单元
图10a为又一内窥镜1150的图示，其包括同时捕获可见帧和高光谱帧的新颖图像捕获单元。内窥镜1150为内窥镜101的一个示例。
在一个方面，内窥镜1150与白光照明和时间序列高光谱照明的组合一起使用。在该示例中，内窥镜1150为立体内窥镜，但是在另一方面，内窥镜1150为单视场内窥镜。一个或多个图像捕获单元可位于内窥镜1150的远端内，或者可在内窥镜1150的近端处位于内窥镜主体外部。箭头1190限定远端方向和近端方向。
在一方面，内窥镜1150的远端包括两个光管引导区域1152、1153，其在一个方面提供白光照明的锥体1170或在组织1160上的白光照明和高光谱照明的组合。当用高光谱照明(例如近红外照明)照明时，组织1160的特征1163更显著。
在该方面，内窥镜1150的远端也包括第一图像捕获单元窗口1151l和第二图像捕获单元窗口1151r。耦合到图像捕获单元窗口1151l的第一图像捕获单元具有第一观看视野1154l。耦合到图像捕获单元窗口1151r的第二图像捕获单元具有第二观看视野1154r。
图10b为适合用作具有时间序列高光谱照明源和白光照明源的相机220l和相机220r的图像捕获单元1120的一个方面的图示。在该示例中，来自内窥镜1150中的一个或多个照明通道的光照明组织1160。虽然未在图10b中示出，但是内窥镜1150的观看视野内的一个或多个外科手术器械也可经由来自照明通道的光照明。使用在内窥镜中的照明通道仅为说明性的，并不旨在限制本说明书中呈现的各种示例。照明可由内窥镜中的照明源提供，或者由内窥镜内部或外部的一些其它设备提供。
从组织1160反射的光和任何荧光由透镜组件1105作为光1101接收。透镜组件1105可包括将所接收的光引导到传感器组件1121的一个或多个光学部件。在一些方面，透镜组件1105被折叠。
来自透镜组件1105的光传递到传感器组件1121。在一些方面，透镜组件1105利用由图像传感器1121_v和图像传感器1121_hs的机械分离所提供的不同后焦距，并且通过将传感器定位在距离表面1111不同的距离处来适应纵向色像差。
在该方面，在传感器组件1121内，光与布置在分束器立方体1110的对角线上的分束器1111相互作用。在一个方面，分束器1111实施为被掩盖涂覆表面。
分束器立方体的使用仅为说明性的，而不旨在为限制性的。例如，分束器1111可为定位在空间中的滤波器。
分束器1111将从透镜组件1105接收的光的第一部分1102引导到可见颜色图像捕获传感器1121_v，并且将从透镜组件1105接收的光的第二部分1103引导到高光谱图像捕获传感器1121_hs。在图10b的示例中，分束器1111将从透镜组件1105接收的光的第一部分1102反射到可见颜色图像捕获传感器1121_v，并且将从透镜组件1105接收的光的第二部分1103传输到高光谱图像捕获传感器1121_hs。在本文所描述的每个方面中，光被引导(即，聚焦)到图像捕获传感器的表面上，并且因此为了简洁起见，这被描述为光被引导到图像捕获传感器上。
光的第一部分1102和光的第二部分1103中的光的波长由分束器1111的特性确定。在一种示例中，分束器1111被配置成使得光的第一部分1102为从透镜组件1105接收的可见光的第一部分，并且光的第二部分1103为从透镜组件1105接收的可见光的第二部分和从透镜组件1105接收的高光谱光的组合。在一种示例中，第一部分1102为可见光谱中具有约为670nm和更小的波长的可见光，并且光1101的第二部分1103为具有大于670纳米的波长的可见光以及从透镜组件1105接收的高光谱光，例如，波长大于约670纳米且小于或等于1.7微米的光。这里，使用约670纳米，因为当分束器1111被实施为被掩盖涂层时，涂层具有过渡区，其中入射光的一部分被引导到两个图像捕获传感器。例如，波长为670nm+20nm的光从进入可见颜色图像捕获传感器1121_v转变为高光谱图像捕获1121_hs。因此，约670纳米意指在约670纳米过渡区内。
光1101的第一部分1102聚焦在可见颜色图像捕获传感器1121_v上。在一个方面，可见颜色图像捕获传感器1121_v捕获具有在400纳米至约670纳米范围内的波长的光。例如，可见颜色图像捕获传感器1121_v为具有拜耳红─绿─蓝滤色器阵列或红─绿─蓝─白滤色器阵列的小像素cmos图像捕获传感器。可见颜色图像捕获传感器1121_v(有时称为传感器1121_v)耦合到机械和电子器件1127。机械和电子器件1127包括用于保持传感器1121_v的机械器件和连接到传感器1121_v的电子器件。
来自透镜组件1105的光1101的第二部分1103聚焦在高光谱图像捕获传感器1121_hs上。在一个方面，高光谱图像捕获传感器1121_hs捕获具有在约670纳米至1.7微米范围内的波长的光。高光谱图像捕获传感器1121_hs为单色大像素图像捕获传感器，例如具有5微米至20微米像素的ingsas传感器或具有类似尺寸像素的hgcdte传感器。
高光谱图像捕获传感器1121_hs和可见颜色图像捕获传感器1121_v可用不同的半导体技术实施，并且因此可具有不同的快门架构，例如，可见颜色图像捕获传感器1121_v使用滚动快门并且高光谱图像捕获传感器1121_hs使用全局快门。两个图像传感器的定位容许在制造时独立聚焦。另外，两个图像传感器可具有不同的像素尺寸以及不同的启用/活动(active)区域。
高光谱图像捕获传感器1121_hs(有时称为传感器1121_hs)耦合到机械、冷却和电子器件1126。机械、冷却和电子器件1126包括用于保持传感器1121_hs的机械器件、用于传感器1121_hs的冷却器件和连接到传感器1121_hs的电子器件。
图像捕获单元1120也可如图9所示实施。然而，对于时间序列高光谱照明，移除了配准辅助滤波器组件1050l和配准辅助滤波器组件1050r。
在一个方面，代替单色高光谱图像捕获传感器1121_hs，传感器1121_hs的像素上的滤色器阵列生成另一组“原色”，其为瞬时照明光谱内容和像素上的滤波器的组合。这减少了序列照明图案的数量，因为照明可同时包括将照明每个滤波器后面的像素的光。这是有益的，因为它减少了获取的时间并且简化了该过程，因为它移除了与时间序列成像相关的时间伪像。因此，该方法消除了对组织跟踪和重新对准图像的需要，因为来自高光谱成像器的图像同时包括所有波段的信息。代价是空间分辨率的降低。
透镜组件1105可包含用于阻挡一些波长的光的滤波器，其用于激发组织中的荧光团——例如，如果荧光和激发位于光谱的近红外部分，则这可在不损害可见图像的图像质量的情况下完成。在那种情况下，照明器可使用激发光作为时间序列波段中的一个，并且由于透镜组件1105中的阻挡滤波器，荧光团信号将被相机“看到”并且不会被激发所淹没。荧光团可为天然存在的分子或引入组织中的分子，以标记特定组织类型、病症或临床感兴趣的其它元素。因此可通过光谱成像散布荧光团的检测。
内窥镜和具有高光谱能力的第二工具
在上述示例中，内窥镜(单视场的或立体的)在一个方面附接到计算机辅助外科手术系统的臂，并且其它外科手术器械附接到计算机辅助外科手术系统的不同臂。参见图1。在另一方面，使用单个入口端口。图11a为示意性侧视图，其示出了外科手术系统1200的各方面，该外科手术系统1200包括内窥镜成像系统1292、外科医生的控制台1294(主件)和患者侧支撑系统1210(从件)，所有这些都通过有线(电气或光学)或无线连接1296互连。一个或多个电子数据处理器可不同地位于这些主部件中以提供系统功能。在美国专利申请no.11/762,165中公开了示例，该申请通过引用方式并入本文。
患者侧支撑系统1210包括进入引导操纵器。至少一个外科手术装置组件耦合到进入引导操纵器。每个外科手术装置组件包括外科手术器械或相机器械。例如，在图11a中，一个外科手术装置组件包括具有轴1237-1的器械1235-1，轴1237-1在外科手术进程中延伸通过进入引导件1215。通常，进入引导件1215包括多个通道。
成像系统1292对例如外科手术部位的捕获的内窥镜成像数据和/或来自患者外部的其它成像系统的术前或实时图像数据执行图像处理功能，如本文所描述。成像系统1292将经处理的图像数据(例如，外科手术部位的图像以及相关的控制和患者信息)输出到外科医生的控制台1294处的外科医生。在一些方面，经处理的图像数据被输出到可由其他手术室人员看到的可选外部监视器或远离手术室的一个或多个位置(例如，另一个位置的外科医生可监视视频；现场馈送视频可用于训练；等)。
外科医生的控制台1294包括多自由度(“dof”)的机械输入装置(“主件”)，其允许外科医生操纵器械、(一个或多个)进入引导件和成像系统装置，这些装置统称为从装置。在一些方面，这些输入装置可从器械和外科手术装置组件部件向外科医生提供触觉反馈。控制台1294也包括立体视频输出显示器，其定位成使得显示器上的图像通常聚焦在与在显示屏幕后面/下面工作的外科医生的手相对应的距离处。在美国专利no.6,671,581中更全面地讨论了这些方面，该专利通过引用方式并入本文。
在插入器械期间的控制可例如通过外科医生用一个或两个主件移动图像中呈现的器械来完成；外科医生使用主件将图像侧向移动，并且将器械拉向外科医生。主件的运动命令成像系统和相关的外科手术装置组件转向输出显示器上的固定中心点并且在患者体内前进。
在一个方面，相机控制被设计成给人以这样的印象：主件被固定到图像，使得图像在与主手柄移动的方向相同的方向上移动。当外科医生从相机控制中退出时，这种设计致使主件处于控制器械的正确位置，并且这种设计避免了需要在开始或恢复器械控制之前将主件抓住(脱离)、移动和分离(接合)到位。
在一些方面，可使主位置与插入速度成比例，以避免使用大的主工作空间。另选地，外科医生可抓住和分离主件以使用棘轮动作进行插入。在一些方面，可手动控制插入(例如，通过手动操作的轮)，并且然后当外科手术装置组件的远端靠近外科手术部位时进行自动插入(例如，伺服马达驱动的辊)。可使用患者的解剖结构和可用于插入轨迹的空间的术前或实时图像数据(例如，mri、x射线)来辅助插入。
患者侧支撑系统1210包括安装在地板上的基座1201，或者另选地包括安装在天花板上的基座(未示出)。基座1201可为可移动的或固定的(例如，固定到地板、天花板、墙壁或其它仪器(诸如手术台))。
基座1201支撑臂组件，该臂组件包括被动/无源的、不受控制的设置臂组件1220和被主动控制的操纵臂组件1230。被主动控制的操纵臂组件1230被称为进入引导操纵器1230。
套管1216可拆卸地耦合到套管支架。在本说明书中，套管通常用于防止器械或进入引导件在患者组织上摩擦。套管可用于切口和天然孔两者。对于仪器或进入引导件不经常相对于其插入(纵向)轴线平移或旋转的情况，可不使用套管。对于需要吹气的情况，套管可包括密封件以防止过量吹入气体通过器械或进入引导件泄漏。在美国专利申请no.12/705,439(2010年2月12日提交；公开“用于单个端口系统中多个器械的进入引导件”)中可发现支持吹气的套管组件和在手术部位需要注入气体的程序的示例，出于所有目的，该申请的全部公开内容通过引用方式并入本文。对于不需要吹气的胸外科手术可省略套管密封，并且如果器械或进入引导件插入轴线移动非常小，则可省略套管本身。在一些配置中，刚性进入引导件可用作相对于进入引导件插入的器械的套管。套管和进入引导件可为例如钢或挤压塑料。比钢便宜的塑料可适用于一次性使用。
当患者被放置在可移动台上的各种位置时，各种被动设置关节/连杆和主动关节/连杆允许将器械操纵器定位成使器械和相机组件以大范围的运动移动。在一些实施例中，套管安装件可耦合到第一操纵器连杆。
可省略操纵器臂中的某些设置和主动关节和连杆以减小外科手术系统的尺寸和形状，或者可添加关节和连杆以增加自由度。应当理解，操纵臂可包括连杆、被动关节和主动关节(可提供冗余dof)的各种组合，以实现用于外科手术的必要范围的位姿。此外，各种器械单独地或包括进入引导件、多个器械和/或多个进入引导件的外科手术装置组件，以及经由各种配置(例如，在器械传输装置或器械操纵器的近端面或远端面上)耦合到器械操纵器(例如，致动器组件)的器械适用于本公开的各方面。
多个外科手术装置组件1280中的每一个都包括器械操纵器组件以及外科手术器械和相机组件中的一个。在图11a中，多个外科手术装置组件1280中的两个为可见的，并且所述两个可见外科手术装置组件中的每一个都包括器械操纵器组件和外科手术器械或相机组件。在一个方面，器械操纵器组件1240-1和器械操纵器组件1240-2中的每一个都为计算机辅助的，并且因此每个有时被称为计算机辅助的器械操纵器组件。器械操纵器组件1240-1、器械操纵器组件1240-2中的每一个通过不同的插入组件耦合到进入引导操纵器组件1233，例如，器械操纵器组件1240-1通过插入组件1236-1耦合到进入引导操纵器组件1233。
在一个方面，插入组件1236-1为伸缩组件，其使相应的外科手术装置组件远离和朝向进入引导操纵器组件1233移动。在图11a中，插入组件1236-1处于完全缩回位置。
每个器械操纵器组件1240-1、器械操纵器组件1240-2包括多个马达，所述马达驱动器械操纵器组件1240-1、器械操纵器组件1240-2的输出接口中的多个输出。器械1235-1、器械1235-2中的每一个都包括容纳传输单元的主体。传输单元包括输入接口，该输入接口包括多个输入。器械1235-1、1235-2中的每一个也包括轴1237-1、1237-2，其有时被称为在远端方向上从主体延伸的主管。末端执行器耦合到外科手术器械的轴的远端，并且图像捕获单元(例如，相机)被包括在相机器械(有时称为内窥镜)的轴的远端中。参见美国专利申请no.61/866,115(2013年8月15日提交)，其通过引用方式并入本文，用于器械操纵器组件和外科手术器械的一个示例。
器械1235-1、1235-2中的每一个都耦合到相应的器械操纵器组件1240-1、1240-2的器械安装接口，使得器械1235-1、1235-2中的传输单元的输入接口中的多个输入由器械操纵器组件1240-1、1240-2的器械安装接口中的多个输出驱动。参见美国专利申请no.61/866,115(2013年8月15日提交)。
在一个方面，一个或多个器械操纵器组件可被配置成支撑和致动具体类型的器械，诸如相机器械。如图11a所示，多个外科手术装置组件1280的轴从器械的主体向远端延伸。轴延伸穿过放置在入口处的公共套管1216(例如，通过体壁或在自然孔口处)到患者体内。在一个方面，进入引导件1215被定位在套管1216内，并且每个器械轴均延伸通过进入引导件1215中的通道，以便为器械轴提供附加的支撑。
可使用外科手术系统1200执行的外科手术可在身体的不同区域上执行。例如，可通过患者的口腔执行一种外科手术。可在患者的肋骨之间执行另一种外科手术。其它外科手术可通过患者的其它孔口或通过患者的切口执行。进入患者的每个不同入口可需要不同形状和/或不同尺寸的进入引导件。因此，为具体手术选择适当的进入引导件1215。
在上面描述的方面中，内窥镜被包括在同时捕获可见帧和高光谱帧的图像捕获单元内或与其耦合。然而，在另一方面，标准相机器械1235-2(例如，立体内窥镜)与第二工具(例如，外科手术器械1235-1)结合使用，其包括高光谱图像捕获单元和深度测量装置，例如，深度相机、超声装置等。
图11b为内窥镜1235-2b和另一个外科外科器械1235-1b的更详细的图示。外科手术器械1235-1b具有高光谱图像捕获能力。
在一个方面，内窥镜1235-2b与白光照明和时间恒定或时间序列高光谱照明的组合一起使用。在该示例中，内窥镜1235-2b为立体内窥镜，但是在另一方面，内窥镜1235-2b为单视场内窥镜。一个或多个图像捕获单元能够位于内窥镜1235-2b的远端内，或者能够在内窥镜1235-2b的近端处位于内窥镜主体外部。箭头1290限定远端方向和近端方向。
在该方面，内窥镜1235-2b的远端包括两个光管引导区域1252、1253，其在一个方面提供白光照明的锥体1270或者在组织1260上的白光照明和高光谱照明的组合。当用高光谱照明(例如，近红外照明)照明时，组织1260的特征1263更显著。
在该方面，内窥镜1235-2b的远端也包括第一图像捕获单元窗口1251l和第二可见图像捕获单元窗口1251r。耦合到图像捕获单元窗口1251l的第一可见图像捕获单元具有第一视场1254l。耦合到图像捕获单元窗口1251r的第二可见图像捕获单元具有第二视场1254r。由可见图像捕获单元捕获的帧如上所述处理用于可见图像处理管线310，以在外科医生的控制台1294上产生立体可视图像的视频序列。
在该方面，外科手术器械1235-1b的远端也包括高光谱图像捕获单元窗口1256和深度感测单元窗口1257。耦合到高光谱图像捕获单元窗口1256的高光谱图像捕获单元具有第三视场1258。耦合到深度感测窗口1257的深度感测单元具有第四视场1259。
如未按比例绘制的图11b所示，立体内窥镜1235-2b的观看视野与高光谱图像捕获单元的视场1258和观看视野1259重叠。观看视野中的每个包括组织1260的特征1263。
图12a和图12b为适用于外科手术器械1235-1b的高光谱相机的示例。在图12a的示例中，高光谱图像捕获单元1320a在外科手术器械1235-1b中用于时间恒定的高光谱照明源。
高光谱图像捕获单元1320a包括在外科手术器械的远端中的窗口1256a。窗口1256a包括涂层1311，其使感兴趣的波长(例如，700纳米至2.4微米波长)通过。因此，窗口1256a接收从组织1260反射的光和来自组织1260的任何荧光的光1301。高光谱图像捕获单元1320a的透镜组件1305接收穿过窗口1256a上的涂层1311的光1302。在另一方面，滤波器放置在窗口1256a与透镜组件1305之间，而不是使用窗口1256a上的涂层。滤波器1311被配置成使从组织1260接收的一部分可见光和从组织1260接收的高光谱光的组合通过。
透镜组件1305可包括一个或多个光学部件，其将所接收的光引导(即，聚焦)到传感器组件1321。在一些方面，透镜组件1305被折叠。
从透镜组件1305接收的可见光和从透镜组件1305接收的高光谱光的组合聚焦在高光谱图像捕获传感器1321上。在一个方面，高光谱图像捕获传感器1321捕获在700纳米至1.7微米或2.4微米范围内的波长。由图像捕获传感器1324的每个像素捕获的波长范围取决于滤波器组件1340的特性和传感器1321的光谱响应。滤波器组件1340相当于上述滤波器组件940，并且因此这里不再重复描述。高光谱图像捕获传感器1321为单色大像素图像捕获传感器，例如具有5微米至20微米像素的ingsas传感器或具有类似尺寸像素的hgcdte传感器。高光谱图像捕获单元1320可具有全局快门或滚动快门。
高光谱图像捕获传感器1321(有时称为传感器1321)耦合到机械、冷却和电子器件1326。机械、冷却和电子器件1326包括用于保持传感器1321的机械器件、用于传感器1321的冷却器件和连接到传感器1321的电子器件。
对于具有恒定高光谱照明的系统，一个或多个波段照明场景，并且与图像捕获传感器1321相邻的滤波器组件1340被像素化以提供将高光谱信息编码到单个帧中的图像。
图12b为适用于具有时间序列高光谱照明源和白光照明源的外科手术器械1235-1b的图像捕获单元1320b的一个方面的图示。高光谱图像捕获单元1320b包括在外科手术器械的远端中的窗口1256b。窗口1256b包括使感兴趣的波长(例如，长于约670纳米且短于或等于1.7微米的波长)通过的涂层。因此，窗口1256b接收光1331，其为从组织1260反射的光和任何荧光。高光谱图像捕获单元1320b的透镜组件1315接收穿过窗口1256b上的涂层的光1332。在另一方面，滤波器1341放置在窗口1256b与透镜组件1315之间，而不是使用窗口1256b上的涂层，或者涂层被包括在透镜组件1315中。滤波器1341被配置成使从组织1260接收的可见光的一部分与从组织1260接收的高光谱的组合通过。
透镜组件1315可包括将所接收的光引导到传感器组件1322的更多光学部件中的一个。在一些方面，透镜组件1315在图像传感器之前折叠有折叠棱镜。
来自透镜组件1315的光传递到高光谱图像捕获传感器1322，例如，聚焦在高光谱图像捕获传感器1322上。在一个方面，高光谱图像捕获传感器1322捕获波长在670纳米至1.7微米范围内的光。高光谱图像捕获传感器1322为单色大像素图像捕获传感器，例如具有5微米至20微米像素的ingsas传感器或具有类似尺寸像素的hgcdte传感器。
高光谱图像捕获传感器1322(有时称为传感器1322)耦合到机械、冷却和电子器件1327。机械、冷却和电子器件1327包括用于保持传感器1322的机械器件、用于传感器1322的冷却器件和连接到传感器1322的电子器件。
以上描述和说明本发明的方面和实施例的附图不应被视为具有限制意义─权利要求限定了受保护的发明。在不脱离本说明书和权利要求的精神和范围的情况下，可进行各种机械、组成、结构、电气和操作变化。在一些情况下，未详细示出或描述公知的电路、结构和技术以避免模糊本发明的方面。
此外，该描述的术语不旨在限制本发明。例如，空间相对术语─诸如“下方”、“下面”、“以下”、“上方”、“上面”，“近端”、“远端”等可用于描述一个元件或特征的与图中所示的另一个元件或特征的关系。这些空间相对术语旨在涵括除了图中所示的位置和取向之外的装置在使用或操作中的不同位置和取向。例如，如果图中的装置被翻转，则被描述为在其它元件或特征“下方”或“下方面”的元件将在爱他元件或特征“上方”或“上面”。因此，示例性术语“下方”可包括上方和下方的位置和方向两者。装置可以其它方式取向(旋转90度或在其它方位)，并且相应地解释本文使用的空间相对描述符。
除非上下文另有说明，否则单数形式“一”、“一个”和“所述”旨在包括复数形式。术语“包括(comprises)”、“包含”、“包括(includes)”等指定所述特征、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其它特征、步骤、操作、元件、组件和/或组。
所有示例和说明性参考都是非限制性的，并且不应用于将权利要求限制于本文所描述的特定实施方式和实施例及其等同物。任何标题仅用于格式化，并且不应用于以任何方式限制主题，因为一个标题下的文本可交叉引用或应用于一个或多个标题下的文本。最后，鉴于本公开，关于一个方面或实施例描述的具体特征可应用于本发明的其它公开的方面或实施例，即使未在附图中具体示出或在文本中描述。
虽然存储器被示出为统一结构，但是这不应被解释为要求所有存储器位于相同的物理位置。全部或部分存储器可位于与处理器不同的物理位置。存储器是指易失性存储器、非易失性存储器或两者的任意组合。
处理器耦合到含有由处理器实行的指令的存储器。这可在计算机系统内完成，或者另选地经由调制解调器和模拟线路，或数字接口和数字载波线路连接到另一台计算机。
这里，计算机程序产品包括被配置成储存本文描述的方法和/或过程中的任何一个或任何组合所需的计算机可读代码的介质，或者其中储存用于本文描述的方法和/或过程中的任何一个或任何组合的任何一个或任何计算机可读代码的计算机可读代码。计算机程序产品的一些示例为cd-rom盘、dvd盘、闪存、rom卡、软盘、磁带、计算机硬盘驱动器、网络上的服务器以及通过网络传输的表示计算机可读程序代码的信号。有形计算机程序产品包括被配置成储存用于本文所描述方法和/或过程中的任何一个或任何组合的计算机可读指令的介质，或者其中储存用于本文所描述的方法和/或过程的任何一个或任何组合的计算机可读指令。有形计算机程序产品为cd-rom光盘、dvd光盘、闪存、rom卡、软盘、磁带、计算机硬盘驱动器和其它物理储存介质。
鉴于本公开，可使用用户感兴趣的操作系统和计算机编程语言在各种计算机系统配置中实施用于本文所描述的方法和/或过程中的任何一个或任何组合的指令。
- 还没有人留言评论。精彩留言会获得点赞！