外科手术器械中的图像捕获单元的制作方法
本申请是于2012年8月10日提交的名称为“外科手术器械中的图像捕获单元”的中国专利申请201280050585.7(pct/us2012/050394)的分案申请201710214001.x的分案申请。
本发明的多个方面总体上涉及内窥镜成像并且更具体地涉及捕获来自多个图像捕获传感器中的共同前端光学结构的光。
背景技术：
由加利福尼亚州森尼韦尔市的直观外科手术公司(intuitivesurgical,inc.,sunnyvale,california)商业化的达芬奇外科手术系统(da
通常在微创外科手术系统中，图像捕获系统耦合到立体内窥镜的近端(离开手术部位)。然而，一些立体内窥镜在这种内窥镜的远端(离手术部位最近)中具有内含式图像捕获部件。图1a至图1d是在根据美国专利4,873,572(1988年2月24日提交)的立体内窥镜的远端中的图像捕获传感器配置的示例。
在图1a中，内窥镜的远端100a包括具有与该内窥镜的纵轴133a重合的中心线的板状包装113a。两个电荷耦合装置(ccd)114a1和114a2被安装在包装113a的相对的两个表面上。将两个物镜115a1和115a2对称地布置在该内窥镜的纵轴133a的两侧上。将反射镜116a1、116a2对称地布置在相应的物镜115a1、115a2的光轴上。从该内窥镜外部的物体反射的光经过物镜115a1、115a2，并且被反射镜116a1、116a2反射到ccd114a1和114a2的成像表面上。来自ccd114a1和114a2的视频信号被传递到该内窥镜外部的视频处理器上。
在图1b中，内窥镜的远端100b包括两个物镜115b1、115b2，这两个物镜与图1a中的物镜115a1和115a2相同地布置。反射镜116b1和116b2被安装成镜面平行于该内窥镜的纵轴133b并且从其移开。从该内窥镜外部的物体反射的光经过物镜115b1、115b2，并且被反射镜116b1、116b2反射到折射棱镜117b1、117b2。来自棱镜117b1、117b2的光路通向ccd114b1、114b2的成像表面。ccd114b1和114b2被安装成使得ccd114b1、114b2的成像表面分别与来自棱镜117b1、117b2的光路的光轴成直角相交。因此，ccd114b1和114b2各自被安装为成像表面相对于该内窥镜的纵轴133b以预定角度倾斜。
在图1c中，两个物镜115c1和115c2例如相对于物镜的中心轴的上侧是偏心的。反射棱镜117c1和117c2被布置在相应的物镜115c1和115c2的光轴上。棱镜115c1和115c2的中心被定位在与相应的物镜115c1和115c2相同的高度，但是在水平方向稍微移位。棱镜117c1稍微向物镜115c1的左边移位，而棱镜117c2稍微向物镜115c2的右边移位。
由棱镜117c1和117c2中的每一个反射的光被棱镜118c的相应的斜面反射，从而在适配到包装113c的ccd114c的成像表面上形成图像。来自ccd114c的视频信号被传递到该内窥镜外部的视频处理器。
在图1d中，内窥镜的远端100d包括两个偏心物镜115d1、115d2，物镜115d1、115d2与图1c中的物镜115c1和115c2相同地布置。与图1c中的棱镜117c1和117c2相比，棱镜117d1和117d2的位置向前和向后移位。来自棱镜117d1和117d2的光分别由反射镜118d1和118d2反射，从而分别在邻近安装在包装113d上的ccd114d1和114d2上形成图像，包装113d平行于该内窥镜的纵轴。
一个反射镜118d1是凹面的，并且因此在ccd114d1上形成图像的光路长度稍微短于在ccd114d2上形成图像的光路长度。因此，在这个示例中，左光学通道比右光学通道具有更短的光路长度。来自ccd114d1和114d2的视频信号被传递到该内窥镜外部的视频处理器。
图1a至图1d示出了在内窥镜顶端的约束空间中捕获立体图像的几种方式。但是由于小外径的内窥镜远端是期望的，因此在这些图形中的配置还示出了由于许多问题而造成在小外径远端图像捕获系统中捕获高质量立体图像是多么困难。
考虑图1a中的配置。为了对这个装置聚焦，人们必须非常精确地移动物镜115a1和115a2两者的微型透镜来获得聚焦。图1b中的配置受制于需要用棱镜使光以奇角弯曲。这很可能导致在左图像传感器和右图像传感器上的侧向颜色失真和性能不均匀。这些图像没有被最佳地间隔开。
图1c和图1d中的配置需要将图像平放在光学平面中。ccd或光学部件两者都不能放在圆形内窥镜顶端的中间平面上，因而这些配置需要非常小的光学部件(以及小的瞳孔间距)或非常小的ccd，这限制了成像质量，因为该区域是小的，因而限制了像素的数量和/或像素大小。同样，在图1d的配置中，光路长度具有不同的长度，因此每个通道的光学部件必须是不同的。
技术实现要素：
一种具有共面的图像捕获传感器的图像捕获单元克服了在内窥镜的远端中使用的现有技术照相机的缺点并且提供了许多新的能力。在该内窥镜的一个通道中的这些共面的图像捕获传感器中的每一个具有共同的前端光学结构，例如，在该图像捕获单元中的透镜组件对于这些传感器中的每一个是相同的。这些图像捕获传感器的共同光学和共面配置消除了校准透镜伪影的需要。在该内窥镜的独立通道中捕获的不同图像的重新配准是不需要的。在该内窥镜的一个通道中捕获的这些图像在时间上被配准。这些图像也相对于彼此在空间上被配准。
通过该图像捕获单元采集场景的多个可见图像或场景的一个可见图像以及在该场景中的一个或多个荧光图像。控制器增强了采集的图像。在一方面，增强的图像被显示在立体显示器上。增强的图像可以包括(a)具有增强的特征清晰度的可见图像，在其中场景中的特定特征被强调给例如微创外科手术系统的操作者；(b)具有增加的图像表观分辨率的图像；(c)具有增加的动态范围的图像；(d)以基于具有三个或更多个颜色分量的像素颜色分量矢量的方式显示的图像；以及(e)具有延伸的景深的图像。
在一方面，图像捕获单元包括具有第一传感器表面的第一图像捕获传感器和具有第二传感器表面的第二图像捕获传感器。第一和第二传感器表面是共面的。在另一方面，第一表面处于第一平面并且第二表面处于第二平面。第一和第二平面是平行的并且分开已知的距离。在图像捕获单元中，分束器被定位以接收光。该分束器将接收到的光的第一部分导向到第一传感器表面并且使该接收到的光的第二部分传递通过该分束器。在该图像捕获单元中，反射单元被定位以接收该接收到的光的第二部分并且将该接收到的光的第二部分导向到第二图像捕获传感器。
在一方面，第一和第二图像捕获传感器是图像捕获传感器芯片上的不同区域。在另一方面，第一和第二图像捕获传感器是安装在共同平台上的两个分开的图像捕获传感器芯片。在又一方面，第一和第二图像捕获传感器是在单个图像捕获传感器芯片上的两个分开的成像区域。
在一方面，内窥镜的远端包括该第一和第二图像捕获传感器、包含该分束器的棱镜组件以及该反射单元。在另一方面，立体内窥镜包括远端、一对通道和多个第一与第二图像捕获传感器、多个棱镜组件以及多个反射组件。该第一图像捕获传感器、该第二图像捕获传感器、该棱镜组件以及该反射单元以复数个被包含。在该立体内窥镜的远端中，该对通道中的每个通道以复数个包括不同的第一图像捕获传感器、不同的第二图像捕获传感器、不同的棱镜组件以及不同的反射单元。
在一个实施方式中，该分束器被包含在棱镜组件中，该棱镜组件还包括这样一个表面，该表面被定位为将从该分束器接收的光的第一部分导向到该第一传感器表面上。这个表面被定位为使得没有其他的光投射到该表面上。反射单元包括反射表面，该反射表面被定位为将该接收到的光的第二部分反射到第二图像捕获传感器的表面上。在另一个实施方式中，该棱镜组件和该反射单元被包含在单个一体结构中。
在一方面，该棱镜组件包括远端面，接收到的光通过该远端面进入该棱镜组件。图像捕获单元具有从该远端面到第一传感器表面的第一光路长度，该第一光路长度大约等于从该远端面到第二传感器表面的第二光路长度。在另一方面，第一和第二光路长度具有不同的长度，并且这两个光路长度的长度差被配置为提供在第一图像捕获传感器与第二图像捕获传感器采集的图像之间的焦距差。
不依赖于实施方式，该棱镜组件包括分束器，该分束器被配置为反射由该棱镜组件接收的光的第一部分并且被配置为传输该接收到的光的第二部分。在一方面，接收到的光的第一部分是第一百分比的接收到的光，并且接收到的光的第二部分是第二百分比的接收到的光。在一方面，该分束器被配置为使得第一和第二百分比是大致相等的。在另一方面，该分束器被配置为使得第一和第二百分比是不相等的。该分束器可以以许多方式实施，包括但不限于，薄的金属涂层、介电涂层、二向色涂层或在另外的透明界面上的反射瓷砖的图案。
第一和第二图像捕获传感器可以两者都是彩色图像捕获传感器，或者替代地，这些图像传感器中的一个是彩色图像传感器并且这些图像捕获传感器中的另一个是单色图像捕获传感器。
使用该图像捕获单元，来自从共同前端光学系统接收的光的第一部分的第一图像被第一图像捕获传感器捕获。来自从该共同前端光学系统接收的光的第二部分的第二图像被第二图像捕获传感器捕获。第一和第二图像捕获传感器是共面的并且第一和第二图像在被捕获后相对于彼此在空间上配准。
在各个方面的每一个中，对于棱镜组件和反射单元使用相同的基本几何形状，以便实现以上所述的优点。取决于具体的增强作用，该分束器的配置是变化的并且该照明源可以被改变。
为了增强的特征区别，从透镜组件接收的光通过远端面进入棱镜组件。该分束器被配置为基于接收到的光的偏振状态反射该接收到的光的第一部分，并且被配置为基于该接收到的光的偏振状态传输该接收到的光的第二部分。从该远端面到第一传感器表面的第一光路长度大约等于从该远端面到第二传感器表面的第二光路长度。控制器耦合到第一和第二图像捕获传感器。该控制器结合来自第一图像捕获传感器捕获的第一图像的信息和来自第二图像捕获传感器捕获的第二图像的信息，从而基于该接收到的光中的偏振差产生图像，该图像增加该图像中的特征的显著性。
为了增强的分辨率和动态范围，该分束器被配置为反射第一百分比的接收到的光，并且被配置为传输第二百分比的接收到的光。再次，从该棱镜组件的远端面到第一传感器表面的第一光路长度大约等于从该远端面到第二传感器表面的第二光路长度。
在一方面，第一和第二图像捕获传感器是彩色图像捕获传感器。再次，该控制器耦合到第一和第二图像捕获传感器。该控制器结合来自第一图像捕获传感器捕获的第一图像的信息和来自第二图像捕获传感器捕获的第二图像的信息，从而产生相对于单个图像捕获传感器捕获的图像具有增强的空间分辨率和增强的动态范围之一的图像。
当第一和第二百分比大致相等时，该控制器产生的图像具有增强的空间分辨率。当第一和第二百分比不相等时，该控制器产生的图像具有增强的动态范围。
对于增强的分辨率，在一方面，第一百分比是大约百分之五十的接收到的光，并且第二百分比是大约百分之五十的接收到的光。分束器和棱镜组件的反射表面被定位为使第一图像捕获传感器捕获的图像从第二图像捕获传感器捕获的图像偏移，同时第一光路长度保持与第二光路长度大致相等。控制器对第一图像捕获传感器捕获的第一图像中的第一像素进行采样并且对第二图像捕获传感器捕获的且与该第一像素对应的第二像素进行采样。使用来自这两种采样的像素的信息，控制器产生相比于第一和第二图像捕获传感器捕获的这些图像具有增加的颜色性能的图像中的像素。控制器可以使用多组像素而不是单组像素执行这个过程。
当该分束器将接收到的光分开，使得第一百分比和第二百分比不相等时，第一百分比是基于第一图像捕获传感器的动态范围来选择的，例如使得第一图像捕获传感器捕获的图像没有由于该第一图像捕获传感器的动态范围而被剪裁(clipped)。在一方面，第一百分比是大约n％的接收到的光，并且第二百分比是大约m％的接收到的光。n和m是正数。百分之一百减去n％大致等于m％。控制器对第一图像捕获传感器捕获的图像中的像素进行采样并且对第二图像捕获传感器捕获的图像中的对应像素进行采样。控制器使用来自这些采样的像素的信息来产生输出图像中的像素。该输出图像相对于单个图像捕获传感器捕获的图像具有增加的动态范围。控制器可以使用多组像素而不是单组像素执行这个过程。
在增强的分辨率的另一方面，分束器接收的光包含多个颜色分量。该分束器被配置为反射该多个颜色分量中的一个颜色分量并且被配置为传输该多个颜色分量中的其他颜色分量。从棱镜组件的远端面到第一传感器表面的第一光路长度大致等于从该远端面到第二传感器表面的第二光路长度。
在这个方面，第一图像捕获传感器是单色图像捕获传感器，并且第二图像捕获传感器是具有针对该多个颜色分量中的其他颜色分量的滤色器阵列的图像捕获传感器。控制器具有该多个颜色分量之一中的全空间分辨率并且具有该多个颜色分量中的其他颜色分量中的降低的空间分辨率。控制器产生相对于彩色图像捕获传感器捕获的图像具有提高的空间分辨率和清晰度的图像。
对于包含具有三个或更多个颜色分量的像素颜色分量矢量的方面，该分束器包括多个陷波滤波器。陷波滤波器是具有窄频带和较宽的通带的滤波器，在该窄频带中滤波器是反射性的，该较宽的通带可以在反射带的一侧或两侧上。该多个陷波滤波器反射第一组光分量作为接收到的光的第一部分并且传递第二组光分量作为该接收到的光的第二部分。再次，从棱镜组件的远端面到第一传感器表面的第一光路长度大约等于从该远端面到第二传感器表面的第二光路长度。
该系统包括产生包含多个颜色分量的输出光的照明器。控制器被配置为接收第一图像捕获传感器捕获的第一图像的去马赛克图像(demosaicedimage)，并且被配置为接收第二图像捕获传感器捕获的第二图像的去马赛克图像。控制器从第一去马赛克图像中的对应像素的颜色分量矢量以及第二去马赛克图像中的对应像素的颜色分量矢量产生输出图像中的像素的n-元素颜色分量矢量，其中n至少是三。
对于延伸的景深方面，分束器反射接收到的光的第一部分并且传输该接收到的光的第二部分。从棱镜组件的远端面到第一传感器表面的第一光路长度小于从该远端面到第二传感器表面的第二光路长度。第一图像捕获传感器捕获以第一物距聚焦的图像，并且第二图像捕获传感器捕获以第二物距聚焦的图像。在一方面，控制器耦合到第一和第二图像捕获传感器以接收第一和第二图像。随着物体到内窥镜的距离改变，控制器自动移动第一图像与第二图像之间的输出图像，而没有在物理上移动该内窥镜内部的光学器件(optics)。在另一方面，控制器被配置为对第一图像中的一区域的像素进行采样以及对第二图像中的对应的一区域的像素进行采样，从而产生在输出图像中的像素，该输出图像单独地相比于第一和第二图像具有增加的表观景深。在又一个方面，控制器结合第一图像捕获传感器捕获的第一图像与第二图像捕获传感器捕获的第二图像，并且产生第三图像，该第三图像在内窥镜相对于被观察的组织的物理运动期间自动停留在焦点。这是通过控制器处理第一和第二图像的区域并且比较它们的清晰度来完成的。控制器从这些区域的每一个处的两个图像的更清晰者(sharper)中的像素生成第三图像。因此，该第三图像构建自这两个图像的最清晰部分。
在进一步的方面，控制器获取第一图像捕获传感器捕获的第一图像和第二图像捕获传感器捕获的第二图像，并且基于从第一和第二图像捕获传感器采集的像素区域的相对清晰度产生通道深度图。该深度图可以按不同的方式被该系统使用。一种方式是控制器产生场景的三维表面，然后将第一和第二图像投射(通过执行软件)并纹理映射返回到该三维表面上，从而产生有纹理的虚拟图像表面。该控制器产生针对来自该通道深度图和该有纹理的图像表面的虚拟照相机点的新的虚拟图像。如果需要，可以产生多于一个的虚拟照相机位置和对应的图像。例如，当虚拟照相机位置从左眼位置到右眼位置来回扫掠时，即，跨过眼间距离来回扫掠时，产生场景的实时图像。当产生来自虚拟照相机视点的图像时，该图像被显示在非立体显示单元上。该视点被移动到下一个虚拟照相机位置，并且来自那个视点的图像被产生和显示。因此，当虚拟照相机位置被来回扫掠时，显示的场景随时间来回晃动，因此对观察该显示器的人给出深度提示，而不需要立体观察仪。
在又一个方面，一种设备包括第一图像捕获传感器和第二图像捕获传感器。第一图像捕获传感器具有第一传感器表面，并且第二图像捕获传感器具有第二传感器表面。该设备还包括第一透镜组件和第二透镜组件。反射单元被定位为接收传递通过该第一透镜组件的光并且被定位为接收传递通过该第二透镜组件的光。该反射单元将接收到的光从第一透镜组件反射到第一传感器表面上。该反射单元还将该接收到的光从第二透镜组件反射到第二传感器表面上。从第一透镜组件到第一传感器表面的第一光路长度大致等于从第二透镜组件到第二传感器表面的第二光路长度。
在一方面，这个设备的第一和第二图像捕获传感器表面是共面的。在另一方面，第一传感器表面在第一平面中。第二传感器表面在第二平面中，并且第一平面和第二平面是大体上平行的并且分开已知的距离。在两种情况下，第一光路长度和第二光路长度是大致相等的。
附图说明
图1a至图1d是在立体内窥镜的远端中的图像捕获传感器配置的现有技术示例。
图2是在立体内窥镜的远端中包括多个图像捕获单元的微创外科手术系统的框图。
图3a是包括多个图像捕获单元的立体内窥镜的远端的框图。
图3b是包括图像捕获单元的单像内窥镜(monoscopicendoscope)的远端的框图。
图4a是包括透镜组件和具有共面的图像捕获传感器的传感器组件的图像捕获单元的一部分的图示。
图4b是图4a中的结构使用五棱镜作为该棱镜组件的实施方式的示例。
图5a是立体内窥镜的远端的示意图，该立体内窥镜包括提供来自照明器的非偏振光的照明通道以及各自包括具有透镜组件和传感器组件的图像捕获单元的左立体光学通道和右立体光学通道。
图5b是立体内窥镜的远端的示意图，该立体内窥镜包括提供来自照明器的非偏振光的照明通道、使来自该照明通道的光照偏振的偏振器以及各自包括具有透镜组件和传感器组件的图像捕获单元的左立体光学通道和右立体光学通道。
图6a是立体内窥镜的远端的示意图，该立体内窥镜包括提供来自照明器的光的照明通道以及各自包括具有透镜组件和传感器组件的图像捕获单元的左立体光学通道和右立体光学通道。每个传感器组件包括分束器，该分束器具有涂覆表面，该涂覆表面反射第一百分比的接收到的光并且将第二百分比的接收到的光传递通过该涂覆表面。
图6b是第一图像中的一块像素以及第二图像中的对应的一块像素的偏移的示意图。
图7a是立体内窥镜的远端的示意图，该立体内窥镜包括提供来自多个照明器之一的光的照明通道以及各自包括具有透镜组件和传感器组件的图像捕获单元的左立体光学通道和右立体光学通道。
图7b至图7e是不同的照明器的框图，这些照明器可以耦合到图7a的立体内窥镜并且还耦合到在此描述的任何其他内窥镜和装置。
图7f是包括多个陷波滤波器的滤波器的图示。
图7g是由图像捕获单元接收的光的光谱的图示。
图7h是包括多个陷波滤波器的另一个滤波器的图示。
图8a是立体内窥镜的远端的示意图，该立体内窥镜包括提供来自照明器的光的照明通道以及各自包括具有透镜组件和传感器组件的图像捕获单元的左立体光学通道和右立体光学通道。每个传感器组件具有两个不同的光路长度。
图8b和图8c是在传感器组件中以不同景深和不同焦距捕获的两个图像的图示。
图8d是图8b和图8c的两个图像组合形成具有延伸的景深的焦点对准的图像的一个组合的图示。
图8e示出了由第一和第二图像捕获传感器采集的图像的清晰度与物距的关系。
图8f是从图像捕获单元捕获的图像在虚拟照相机视点处产生虚像图像的方法的过程流程图。
图9是包括透镜组件和具有不共面的图像捕获传感器的传感器组件的图像捕获单元的一部分的图示。
图10是立体内窥镜的远端的示意图，该立体内窥镜的一表面将从两个透镜组件接收的光导向到共面的图像传感器。
在这些附图中，参考号的第一个数字表示具有这个参考号的元件针对单个数字附图号首次出现的附图。参考号的前两个数字表示具有这个参考号的元件针对双数字附图号首次出现的附图。
具体实施方式
如在此使用的，电子立体成像包括使用两个成像通道(即，一个通道用于左侧图像，另一个通道用于右侧图像)。
如在此使用的，立体光路包括两个通道(例如，用于左图像和右图像的通道)，用于传送来自要被成像的物体(例如组织)的光。在每个通道中传送的光代表在手术视野中的场景的不同视图(立体左视图或立体右视图)。每一个立体通道可以包括一个、两个或更多个光路，因此沿着单个立体通道传送的光能够形成一个或多个图像。例如，对于左立体通道，可以从沿着第一光路行进的光捕获一个左侧图像，并且可以从沿着第二光路行进的光捕获第二左侧图像。不失一般性或适用性，以下更完整描述的这些方面还可以在场序立体采集系统和/或场序显示系统的背景下使用。
如在此所使用的，照明通道包括从位于远离图像捕获单元(例如，远离内窥镜的远端)的照明源或位于该图像捕获单元处或在其附近的照明源(例如，在内窥镜的远端或在其附近的一个或多个发光二极管(led))向组织提供光照的路径。
如在此所使用的，白光是由三种(或更多种)可见颜色分量(例如，红色可见颜色分量、绿色可见颜色分量以及蓝色可见颜色分量)组成的可见白光。如果这些可见颜色分量由照明器提供，则这些可见颜色分量被称为可见颜色照明分量。白光也可以指代在可见光谱中的更连续的光谱，如一个人从例如加热的钨丝或氙灯可能看到的。
如在此所使用的，可见图像包括可见颜色分量。
如在此所使用的，不可见图像是不包括任何这些可见颜色分量的图像。因此，不可见图像是由通常被认为可见的范围之外的光形成的图像。
如在此所使用的，由于荧光而捕获的图像被称为采集的荧光图像。有各种荧光成像模式。荧光可以由自然组织荧光产生，或者由使用例如注射染料、荧光蛋白或荧光标记抗体而产生。荧光可以由例如通过激光或其他能量源激发而产生。在这样的配置中，应当理解的是，陷波滤波器被用来阻断进入该内窥镜的激发波长。荧光图像可以提供对于外科手术而言是关键的极其重要的体内病人信息，例如病理学信息(例如，发荧光的肿瘤)或解剖信息(例如，荧光标记肌腱)。
如在此所使用的，入射角是入射在表面上的光线与在该入射点处垂直于该表面的线之间的角。
如在此所使用的，将图像进行数字处理并且可以通过改变该图像被索引的方式将其再取向或反射。再取向或反射也可以按照图像传感器被读取的顺序完成。
本发明的多个方面有助于采集在外科手术视野中的场景的可见和不可见立体图像。参考图2，例如，图像捕获单元225l、225r(图2)位于微创外科手术系统200(例如，由加利福尼亚州森尼韦尔市的直观外科手术公司商业化的达芬奇微创遥控外科手术系统)中的立体内窥镜202的远端。如由箭头235指示的，远端方向朝向组织203并且近端方向远离组织203。
一个图像捕获单元225l捕获立体图像的左侧图像，有时被称为左侧立体图像。第二图像捕获单元225r捕获立体图像的右侧图像，有时被称为右侧立体图像。
如在以下更完整地描述的，每个图像捕获单元包括透镜组件和传感器组件。透镜组件有时被称为前端光学系统。传感器组件包括一对共面的图像捕获传感器，在一个方面，还包括将光从透镜组件传输到共面的图像捕获传感器之一的一个折叠光路以及将光从透镜组件传输到另一个共面的图像捕获传感器的另一个折叠光路。在图像捕获单元中的同一个透镜组件被用于这两个图像捕获传感器，使得这些图像捕获传感器被认为是具有共同前端光学结构。共享的透镜组件和这些图像捕获传感器的共面配置的结合消除了为了补偿透镜伪影而进行校准的需要。由于在这两个图像捕获传感器之间的空间关系是恒定的，并且由于这些图像捕获传感器共享共同的透镜组件，由这两个图像捕获传感器捕获的一对图像的空间配准随着时间的逝去以及在改变光学条件(例如，改变焦距)的期间保持恒定。在内窥镜202的通道中捕获的一对图像也可以在时间上彼此配准。
在一个方面，图像捕获单元225l、225r被用于包括多个观察模式(正常模式以及一个或多个增强模式)的微创外科手术系统中。通过使用显示模式开关252，一个人可以在这些观察模式之间进行切换，该显示模式开关通常在外科医师的控制台250(有时称为外科医师控制台250)上呈现的用户界面262中。
在正常观察模式中，在外科手术视野中的场景的可见图像由图像捕获单元225l、225r采集并且被显示在外科医师控制台250的立体显示器251上。在增强观察模式中，由图像捕获单元225l、225r采集该场景的多个可见图像或该场景的一个可见图像以及在该场景中的一个或多个荧光图像，并且在中央控制器260中的双重图像增强模块240r、240l增强这些采集的图像。这些增强的图像被显示在立体显示器251上。这些增强的图像可以包括(a)具有增强的特征清晰度的可见图像，在其中在该场景中的具体特征被强调给微创外科手术系统200的操作者；(b)具有增加的图像表观分辨率的图像；(c)具有增加的动态范围的图像；(d)以基于具有三个或更多个颜色分量的像素颜色分量矢量的方式显示的图像；以及(e)具有延伸的景深的图像。
在进一步详细考虑图像捕获单元225l、225r以及这些增强的操作模式之前，描述微创外科手术系统200。系统200仅是说明性的并且并不旨在将图像捕获单元225l、225r的应用限制于这个特定的系统。图像捕获单元225l、225r可以在不同的其他装置中实施，例如立体显微镜、单像内窥镜(monoscopicendoscope)、显微镜，并且也可以用于替换现有的内窥镜照相机。
微创外科手术系统200，例如达芬奇外科手术系统，包括图像捕获单元225l、225r。在这个示例中，在外科医师控制台250处的外科医师远距离地操纵安装在机器人操作臂(未显示)上的内窥镜202。存在着与达芬奇外科手术系统关联的其他部件、线缆等，但是在图2中没有示出这些，为的是避免偏离本发明。有关微创外科手术系统的进一步的信息可以在例如以下专利中找到：美国专利申请11/762,165(于2007年6月23日提交；披露微创外科手术系统)、美国专利us6,837,883b2(于2001年10月5日提交；披露用于遥控机器人外科手术系统的臂车)以及美国专利6,331,181(于2001年12月28日提交；披露外科手术机器人工具、数据结构以及用途)，所有这些文献通过引用结合在此。
照明器210耦合到立体内窥镜202。照明器210包括至少一个白光源以及可选地可以包括一个或多个荧光激发源。照明器210与在立体内窥镜202中的至少一个照明通道结合使用来照明组织203。替代地并且不失一般性，照明器210可以被内窥镜202的远侧顶端处或在该远侧顶端附近的照明源替换。这种远侧顶端照明可以例如由led或其他照明源提供。
在一个示例中，照明器210提供以白光照明组织203的白光照明。在一些实施方式中，照明器210还可以提供激发荧光的不可见光以及构成白光的可见颜色分量的子集。
通常，三种(或更多种)可见颜色分量构成白光，例如，白光包括第一可见颜色分量、第二可见颜色分量以及第三可见颜色分量。这三种可见颜色分量中的每一种是不同的可见颜色分量，例如，红色分量、绿色分量以及蓝色分量。也可以使用另外的颜色分量，例如青色，以提高该系统的颜色保真度。
在一些实施方式中，在照明器210中的荧光激发源提供激发组织203中的荧光的荧光激发照明分量。例如，使用来自荧光激发源的窄带光来激发组织特异性近红外发射荧光团，使得在组织203内的特异性特征的荧光图像被图像捕获单元225l、225r采集。
来自照明器210的光被导向到照明通道226，该照明通道将照明器210耦合到内窥镜202中的照明通道。立体内窥镜202中的照明通道将该光导向到组织203。在另一方面，照明源例如led或其他源被提供在内窥镜202的远侧顶端处或在其附近。这些照明通道可以用光纤束、单个刚性或柔性杆或光纤来实施。
在一方面，在内窥镜202中的图像捕获单元225r、225l中的每一个包括用于将从组织203接收的光传递到传感器组件的单个透镜组件。来自组织203的光可以包括从白光照明源反射的可见光谱光分量以及例如由于接收来自荧光激发照明源的能量而组织203处产生的荧光(可见或不可见)。这些反射的白光分量被用来捕获观察者将期望在正常可见光谱中看见的一个图像或多个图像。
图像捕获单元225l经由左边的照相机控制单元(ccu)230l耦合到外科医师的控制台250中的立体显示器251。图像捕获单元225r经由右边的照相机控制单元(ccu)230r耦合到外科医师的控制台250中的立体显示器251。照相机控制单元230l、230r接收来自系统处理模块263的信号，该系统处理模块控制增益、控制捕获信号、控制将捕获信号传输到双重图像增强模块240r、240l等。系统处理模块263代表各种控制器，包括系统200中的视觉系统控制器。照相机控制单元230l、230r可以是分开的单元，或者可以被结合在单个双重控制器单元中。
显示模式选择开关252向用户界面262提供信号，该信号进而将选定的显示模式传递给系统处理模块263。在系统处理模块263内的不同视觉系统控制器将照明器210配置为产生期望的照明，将左照相机控制单元230l和右照相机控制单元230r配置为采集期望的图像，并且将任何其他需要的元件配置为处理这些采集的图像，使得在显示器251中向外科医师呈现所请求的图像。
在一些实施例中，颜色校正模块241l和241r分别是双重图像增强模块240l和240r的一部分(在以下更详细地描述)。颜色校正模块241l和240l将这些采集的图像的颜色转换成由系统处理模块263确定的新的期望的颜色平衡。如在图2中所示，为了描述性的目的，用户界面262、系统处理模块263以及图像增强模块240l、240r被归组为中央控制器260。可选的图像处理模块264接收来自中央控制器260的视频并且处理来自颜色校正模块241l和241r的图像，之后显示在外科医师控制台250中的立体显示器251上。可选的图像处理模块264等同于在现有技术微创外科手术系统中的图像处理模块，因此没有更详细地考虑。
图3a是立体内窥镜302a的远端的框图，该立体内窥镜包括图像捕获单元325l和325r以及照明通道305。图像捕获单元325r、325l分别包括透镜组件301r、301l和传感器组件320r、320l。传感器组件320r、320l被定位为接收经过透镜组件301r、301l的光。在一方面，图像捕获单元320r、320l各自包括棱镜组件330r、330l、反射组件340r、340l以及共面的图像捕获传感器(310r、315r)、(310l、315l)。立体内窥镜302a是立体内窥镜202的一个示例。
如在图3a中所示的，在立体内窥镜302a(有时被称为内窥镜302a)的远端中的每个立体通道具有相同的部件配置。在这个图3a方面，图像捕获单元325l(对于左立体通道)和图像捕获单元325r(对于右立体通道)相对于与内窥镜302a的中线纵轴390相交的平面是对称的(即，它们被定位为彼此的镜像)。如由箭头335指示的，远端方向朝向组织303并且近端方向远离组织303。
在这个示例中，来自在内窥镜302a中的一个或多个照明通道305的光对组织303照明。虽然它没有显示在图3a中，在内窥镜302a的视野内的一个或多个外科手术器械也可以经由来自照明通道305的光被照明。在内窥镜中使用照明通道仅是说明性的而不意图限制于在本说明书中呈现的不同示例中。可以通过在内窥镜中的照明源或通过在该内窥镜内部或外部的某种其他设备来提供照明。
从组织303反射的光以及任何荧光被透镜组件301l和301r接收。在透镜组件301l和301r中的透镜304l和304r可以包括将接收到的光分别导向到传感器组件320l和传感器组件320r的一个或多个光学部件。在其他方面，透镜组件301l和301r被折叠以降低图像捕获单元325l和325r的纵向长度。
来自透镜304l和304r的光分别传递到传感器组件320l、320r。在传感器组件320l、320r内，该光被分别在棱镜组件330l、330r中的分束器331l和331r接收。在一方面，每个分束器331l和331r被实施为埋置的涂覆表面331l、331r。如在以下更全面地解释的，在涂覆表面331l、331r中的每一个上的一个或多个涂层被选择为提供特定功能。涂覆表面331l、331r反射从透镜组件301l、301r接收的光的第一部分并且传输/透射(transmit)该接收到的光的第二部分。为了区分组织303的特征，这些涂覆表面在从透镜组件301l、301r接收的光的偏振的差异之间进行区分。在另外其他方面，该涂覆表面包括多个陷波滤波器，这些陷波滤波器也反射接收到的光的多个部分并且传输该接收到的光的其他部分。
不论涂覆表面331l、331r的实施方式如何，分束器331l将接收到的光的第一部分导向到图像捕获单元325l中的第一图像捕获传感器310l上，例如导向到图像捕获传感器310l的表面311l上，并且传输该接收到的光的第二部分通过分束器331l。类似地，分束器331r将接收到的光的第一部分导向到图像捕获单元325r中的第一图像捕获传感器310r上，例如导向到图像捕获传感器310r的表面311r上，并且传输该接收到的光的第二部分通过分束器331r。
在图3a的示例中，传递通过分束器331l和331r的光分别被可选的透镜350l和350r接收。透镜350l和350r将接收到的光聚焦以考虑到图像捕获传感器315l和315r的光路长度。透镜350l和350r是可选的。
来自透镜350l和350r的光分别被反射组件340l和340r接收。反射单元340l将接收到的光导向到图像捕获单元325l中的第二图像捕获传感器315l上，例如将接收到的光导向到图像捕获传感器315l的表面316l上。类似地，反射单元340r将该接收到的光导向到图像捕获单元325r中的第二图像捕获传感器315r上，例如，将该接收到的光导向到图像捕获传感器315r的表面316r上。在此描述的每一个方面中，光被导向到图像捕获传感器的表面上，因此为了简短起见，它被说成是光被导向到该图像捕获传感器上。
反射组件340l和340r各自包括反射接收到的光的反射表面341l、341r，例如，镜面。在图3a的示例中，设备340l和340r各自被实施为一个面具有反射涂层的棱镜，或者各自使用全内反射被实施在该棱镜的斜边上。在一方面，由包含反射表面341r的平面和包含图像捕获传感器310r的表面311r以及图像捕获传感器315r的表面316r的平面相交形成的角度θ是45°角，因此该棱镜被称为45°棱镜。当在靠近表面314r的介质是空气并且因此表面341r是反射表面时，45°棱镜的表面341r展现出全内反射。
图像捕获传感器310l和315l是共面的，即，顶部传感器表面311l和316l等效地在同一个平面中。传感器310l和315l的底部表面位于由平台312的第一表面定义的平面上。类似地，图像捕获传感器310r和315r是共面的，例如，顶部表面311r和316r等效地在同一个平面中。传感器310r和315r的底部表面位于由平台312的第二表面定义的平面上。平台312可以由两个平面部分组成，例如，沿着轴线390结合的两个陶瓷部分。平台312的第一表面与平台312的第二表面是相对的并且从其移开。
在一方面，包括两个图像捕获传感器310r、315r的第一半导体管芯317r被安装在第一陶瓷平台上。包括两个图像捕获传感器310l、315l的第二半导体管芯317l被安装在第二陶瓷平台上。然后将这两个陶瓷平台结合在一起以形成平台312。至这两个管芯317r、317l的导线穿过平台312中的一个或多个通道。在一个管芯中使用两个图像捕获传感器仅是说明性的而并不旨在是限制性的。在一些方面，这两个图像传感器在分开的管芯中。(参见图9。)这两个图像捕获传感器可以是在该管芯中的一个大的图像捕获传感器的一部分，并且在图像捕获传感器310r和图像捕获传感器315r之间的图像捕获传感器的像素例如被忽略。
在一些方面，可以不使用平台312，并且这两组图像捕获传感器被包含在单个结构中，该单个结构被配置为提供至电源电缆、控制电缆、以及视频电缆的必要连接。同样，如在图3a中所示的在图像捕获单元中使用两个共面的图像捕获传感器仅是说明性的而并不旨在是限制性的。例如，在一些方面，可以使用多于两个的共面的图像捕获传感器，例如，可以在一根线中使用多个分束器并且将反射单元置于该线的近端。
这些图像捕获传感器的共面配置消除了为了补偿透镜伪影而进行校准的需要，以及对图像捕获传感器310r/315r(第一对)和310l/315l(第二对)捕获的不同图像进行再配准的需要。如上所述，在给定一对内的这两个图像捕获传感器之间的空间关系是恒定的，并且由于在给定一对内的这些图像捕获传感器共享共同的透镜组件，即，共同的前端光学结构，因此这两个图像捕获传感器捕获的一对图像的空间配准随着时间的逝去以及在改变光学条件(例如，改变焦距)期间保持恒定。
图3b与图3a相似，除了内窥镜302b是单像内窥镜，并且该光照由内窥镜302b外部并且不与之连接的照明器提供之外。然而，在一些方面，该照明器被安装在内窥镜302b上。在内窥镜302b中，图像捕获单元325的元件301、304、320、330、331、340、341、350、310、311、315、316和312b分别与元件301l、304l、320l、330l、331l、340l、341l、350l、310l、311l、315l、316l以及312相同，因此不重复对这些元件的说明。内窥镜外部的照明源可以用于不同的描述的内窥镜实施例和方面，而不是(或除了)在该内窥镜内部或安装在其上的照明通道。
图4a是包括透镜组件401a和传感器组件420a的图像捕获单元425a的一部分的图示。在一方面，传感器组件420a包括棱镜组件430a、反射单元440a以及共面的图像捕获传感器410a、415a。透镜组件401a包括多个光学元件，包括定义光阑470a(有时被称为阑470a)的光学元件。如在此所使用的，光阑是在在光路中具有孔径或位置的空间中的一个平面(在此处的主射线具有零高度)。经过光阑470a的光被图像捕获单元425a的棱镜组件430a中的分束器431a接收。
立体设备包括如在图4a中所示的两个图像捕获单元。然而，如以上针对图3a所示的，具有图像捕获单元的左立体通道和右立体通道是对称的，因此仅描述单个通道和图像捕获单元，以避免重复描述。包括该图像捕获单元的另一个通道跨过相交于该内窥镜的纵轴的平面与图4a中所示的通道是对称的。
分束器431a被定位为接收通过光阑470a的光。分束器431a被配置为将接收到的光的第一部分导向到第一图像捕获传感器410a，并且将该接收到的光的第二部分传递通过该分束器到反射单元440a。在这个示例中，在棱镜组件430a中的分束器431a被实施为涂覆的第一表面。因此，分束器431a有时被称为涂覆的第一表面431a。涂覆的第一表面431a将接收到的光分开为两个部分。
涂覆的第一表面431a将接收到的光的第一部分反射到第二表面432a，第二表面432a进而将该光导向(例如，反射)到第一图像捕获传感器410a上。涂覆的第一表面431a将该接收到的光的第二部分传输通过涂覆的第一表面431a到反射单元440a。在一方面，光相对于涂覆表面431a的入射角小于45°。
第二表面432a被定位为使得除了由涂覆的第一表面431a反射的光之外没有光投射到第二表面432a。在一方面，第二表面432a是被实施为涂覆表面和全内反射表面之一的反射表面。
反射单元440a包括第三表面441a，该第三表面将从分束器431a接收的光反射到第二图像捕获传感器415a上。在一方面，第三表面441a是被实施为例如涂覆表面和全内反射表面之一的反射表面。
图像捕获传感器410a和415a是共面的。在一方面，从光阑470a到涂覆的第一表面431a到第二表面432a到图像捕获传感器410a的第一光路长度大致等于从光阑470a通过涂覆的第一表面431a到涂覆表面441a到图像捕获传感器415a的第二光路长度。在另一方面，该第一和第二光路长度是不相等的。这些不相等的光路长度可以通过调整反射单元中的表面与棱镜组件中的分束器之间的空间关系来实现，如以下更全面地描述的。
替代地，图像捕获传感器410a具有在第一平面中的顶部传感器表面并且图像捕获传感器415a具有在第二平面中的顶部传感器表面，其中该第一和第二平面是平行的并且分开已知的距离(参见图9)。在这些图像捕获传感器的这个替代布置中，到这两个图像捕获传感器的这些光路长度可以大致相等或不相等。图像捕获传感器的顶部传感器表面是图像捕获传感器的接收来自传感器组件中的至少一个光学部件的光的表面。可选的光学器件，如由透镜350(图3)所示，可以例如用于到传感器415a的第二光路中。
在此，大致相等或大体上相等意思是，这两个光路长度在与制造和安装不同的光路元件相关联的容差内是相等的。同样，这些光路长度被定义为起始于光阑470a是说明性的而并不旨在是限制性的。这些光路长度也可以不同地定义，例如相对于棱镜组件430a的接收到的光进入棱镜组件430a所通过的远端面定义，相对于透镜组件中的第一元件定义，或相对于涂覆的第一表面431a定义。
在图4a中，棱镜组件430a、反射单元440a以及图像捕获传感器410a、415a的间隔并不是按比例的。在实际用途中，棱镜组件430a和反射单元440a主要是实心玻璃并且在这些玻璃结构与图像捕获传感器410a、415a之间存在着小间隙。图4b是图4a中的结构使用棱镜的实施方式的示例。
图4b是立体内窥镜的远端中的图像捕获单元425b的图示。图像捕获单元425b包括共享的透镜组件401b和传感器组件420b。在一方面,传感器组件420b包括棱镜组件430b、反射单元440b以及共面的图像捕获传感器410b、415b。传感器组件420b被定位为接收传递通过透镜组件401b的光。另一个图像捕获单元(未显示)包括等同于图4b中所示的那些部件。这两个图像捕获单元以等同于图3a中所示的方式跨过与立体内窥镜的纵轴相交的平面是对称的。
来自照明器的光被组织反射，或源于组织的荧光由平面403b代表。光通过窗481进入透镜组件401b，然后传递通过第一组透镜482、棱镜483、第二组透镜484以及实现该光阑的孔径元件470b。
元件485是可选的并且单独地或以组合方式说明了许多特征，这些特征可以被结合到不同的位置处的不同的透镜组件实施例中。在一方面，元件485代表陷波滤波器阻断荧光激发波长的窗口。在另一方面，元件485代表聚焦元件。
在另一方面，元件485代表平-平元件(plano-planoelement)。在又一方面，元件485代表包括液晶单元的结构，当控制电压被施加至这些液晶单元时，这些液晶单元用作可变焦距透镜。控制电压动态地改变光通过的材料的折射率分布。这些液晶单元可以将焦距调整为期望的焦距(从无限大到十个厘米)，具有良好的光学性能。具有这些性能特性的液晶单元可获得为美国加利福尼亚州山景市(mountainview,ca,us)lensvector公司的lensvectortmautofocus元件(lensvector是在美国的lensvector公司的商标)。
在一些方面，元件485代表预处理透镜组件中的其他元件接收的光的一个或多个滤波器。替代地，这一个或多个滤波器可以被附接至内窥镜的远端表面，或者这一个或多个滤波器可以被插入在孔径元件470b与棱状结构460之间。
在这个方面，棱状结构460是包括具有分束器431b的棱镜组件430b和具有反射表面441b的反射单元440b的一体棱状结构(在这些棱镜之间没有任何间隙地接合两个或更多个棱镜)。在一方面，棱状结构460被设计为具有具备特定折射率的材料和棱镜几何形状，以实现到这两个图像捕获传感器上的期望的图像分离。棱状结构460的设计起初是多面棱镜，然后被优化以便适应传感器间距以及该立体内窥镜的期望的最大外管径(其限制该棱镜的几何形状)。
在图4b中所示的方面中，棱镜组件430b包括具有至少两个涂覆表面431b和432b的五棱镜。替代地，表面432b可以不被涂覆并且可以使用全内反射。分束器，即涂覆的第一表面431b，将接收到的光分成两个部分。涂覆的第一表面431b将接收到的光的第一部分反射到第二表面432b，第二表面432b进而将该光导向(即，反射)到第一图像捕获传感器410a上。涂覆的第一表面431b将接收到的光的第二部分传输通过表面431a到反射单元440b。棱镜450是可选的并且被提供以有助于棱状结构460的操作和安装。
五棱镜是用来使光束偏离九十度的反射棱镜。光束在五棱镜内部反射两次，这允许该光束通过直角传输而不产生倒转图像或反转图像。通常，五棱镜具有由五个侧边组成的外围。五棱镜是恒偏向棱镜，因为五棱镜使光路通过相同的角度偏离，不论五棱镜相对于该光路的取向如何。在此，五棱镜可以与其他棱镜或光学器件结合或接合，或者相对于它们定位。
在一方面，涂覆的第一表面431b是多层埋置涂覆表面。该表面涂覆有多层涂层，例如，多层二向色涂层、金属涂层或有皱纹的涂层(rugatecoating)，其具有期望的反射和传输特性，如在以下更全面地论述的。在一方面，光与表面431b的入射角小于四十五度，但是这并非是要求。第二表面432b被定位为使得除了涂覆的第一表面431b反射的光之外没有光投射到第二表面432b。
远端表面433(有时被称为远端面)是棱状结构460和棱镜组件430b的末端，从透镜组件401b接收的光通过该末端进入。在一方面，第一表面431b、第二表面432b以及第三表面441b被定位为使得从远端表面433到图像捕获传感器410b的第一光路长度大致等于从远端表面433到图像捕获传感器415b的第二光路长度。在另一方面，表面441b被定位为使得这两个光路长度是以少量不相等的。
在一方面，反射单元440b是具有具备反射涂层的表面441b的棱镜，或者以这样一个角度使用表面441b以便经由全内反射提供反射。在一方面，由包含反射表面441b的平面和包含图像捕获传感器415b的顶部传感器表面的平面相交形成的角度是45°角，因此该棱镜被称为45°棱镜。在这个示例中，棱状结构460是通过使用已知的技术将三个部分胶合在一起的一体结构。如前所述，这三个部分被设计为具有在图像捕获传感器410b和415b上实现期望的图像分离的材料、反射率以及棱镜几何形状。三个部分的使用仅是说明性的而并不旨在是限制性的。例如，棱状结构460可以是使用两个部分形成的一体结构。
图像捕获传感器410b和415b是共面的并且在一方面被安装在也安装了用于其他透镜组件的共面的图像传感器的平台上(参见图3a)。在一些方面，这两个图像捕获传感器被包括在单个结构中。
光阑470b被置于或形成于棱状结构460的内部或在其附近，以便减小棱状结构460的大小并且降低拐角光线(cornerray)到图像捕获传感器410b、415b上的入射角。光阑470b可以被定位在元件485的远端(如所示)或近端
对于图4b中所示的示例方面，透镜组件401b中的中间元件483可以是棱镜。在一些方面，这个棱镜被定位为产生折叠的光路，从而生成具有例如与该内窥镜的纵轴以30度取向的视野的内窥镜。这种折叠发生在与图像捕获传感器410b、415b的平面垂直的平面中。
再次参考图2、图3a、图3b、图4a和图4b，示出并且描述了图像捕获单元的不同方面。该图像捕获单元包括接收来自要被成像的物体的光的透镜组件。通过该透镜组件的前端光路可以是直的或者可以被折叠以便为该内窥镜提供不同角度的视场。来自透镜组件的光行进到传感器组件。可以将各种可选的光学部件(孔径、滤波器、聚焦元件等)置于该透镜组件中，或如设计限度允许的，这类光学部件可以被插入到该传感器组件的一个或多个光路中。
在一方面，该传感器组件包括两个或更多个共面的图像捕获传感器。将这些共面的图像捕获传感器沿着该内窥镜纵向布置。例如，对于两个共面的图像捕获传感器，这些图像捕获传感器之一与该透镜组件相对更近地定位(朝向该内窥镜的远端)，并且这些图像捕获传感器之一与该透镜组件相对更远离地定位(远离该内窥镜的远端)。因此，这些图像捕获传感器位于大体上平行于该内窥镜的中线纵轴的平面。在一方面，这些图像捕获传感器都形成为在相同的半导体衬底上的半导体图像捕获区域(例如，cmos图像捕获区域；替代地，可以使用ccd区域)。因此，这种单个衬底具有至少大约其宽度两倍的长度，因此它可以出于空间使用效率而被定位在该内窥镜内，因为这些传感器区域被纵向布置在该内窥镜中。替代地，这些图像捕获传感器可以单独地形成并且被定位在支撑平台或衬底上，该支撑平台或衬底以与单个传感器衬底布置相似的方式布置在该内窥镜中。
在该传感器组件内部，从该透镜组件接收的光在分束器处被分离成两个或更多个光束。在两个传感器的实施方式中，例如，这些光束之一从该分束器沿着一个光路行进以便入射在第一图像捕获传感器上，并且另一个光束沿着另一个光路行进以便入射在第二图像捕获传感器上。在该传感器组件中的光路被折叠，使得在这些图像捕获传感器上入射的光大致垂直于从该透镜组件接收的光。在一些方面，在该传感器组件中的这些光路被布置为大体上相等的长度，使得该透镜组件以大体上相同的方式影响在这些光学传感器上捕获的图像。反射表面、或者涂覆表面或全内反射表面的不同组合可以用来定义图像捕获组件光路几何形状。在一些方面，多个棱镜被用于使这些图像捕获传感器的反射表面对齐要求简化。
在一些方面，在内窥镜中使用单个图像捕获单元，因此该内窥镜具有单像能力。然而，在其他方面，在内窥镜中使用两个图像捕获单元，以便提供立体能力。一个图像捕获单元提供左立体图像能力并且另一个图像捕获单元提供右立体图像能力。在一些方面，在这两个图像捕获单元中的这些图像捕获传感器被取向为背靠背，使得这些传感器大致朝向该内窥镜的中心。这种布置允许高效使用内窥镜中的侧面空间，因为这两个图像捕获单元的前端目标路径被定位为提供良好的立体分离并且图像捕获传感器电路可以被加强。在一些方面，这些背靠背图像捕获传感器由单个平台或衬底支撑，以便提供进一步的空间节省和更好的光学对齐(例如，这两个图像捕获单元在结合到该内窥镜中之前可以彼此对齐)。这些背靠背图像捕获传感器可以大致沿着该内窥镜的中线纵轴定位，但是在一些方面，它们可以从该内窥镜的中线纵轴偏移，这是因为例如可以使用其他远端内窥镜特征。替代地，这两个图像捕获单元可以被定位为使得这些共面的图像捕获传感器彼此面对，或使得用于一个图像捕获单元的这些共面的图像捕获传感器与另一个图像捕获传感器的共面的图像捕获传感器共面(即，所有的图像捕获传感器是共面的，在一些情况下在同一个衬底上)。可以使用在这两个图像捕获单元之间的这些图像捕获传感器平面的各种其他取向。还应当理解，虽然该一个或多个图像捕获单元通常被描述为在该内窥镜的远端，但是在一些方面，该一个或多个图像捕获单元可以在该内窥镜的近端。
如在以下更详细地描述的，这种紧凑的双重成像图像捕获单元光学几何形状允许对于每个期望的光学通道而言将两个相对较大的图像传感器置于一个内窥镜中，并且将入射光分成两个或更多个光束的该图像捕获单元特征允许将许多不同的视觉显示特征呈现给使用成像系统的人。例如，如果使用两个图像捕获单元，则可以捕获两组精确对齐的立体图像，其中一个立体图像组具有从第一光束捕获的特征并且另一个立体图像组具有从第二光束捕获的特征。
增强的特征区分
在来自外科手术部位的场景的图像中，有时遇到的一个问题是当试图增强呈现给在外科医师控制台250上的外科医师的图像时的饱和度(saturation)。一个原因是在视场中的外科手术器械通常比组织反射更多的光。另一个问题是识别可能不是直接在组织表面上的场景中的感兴趣的特征，例如神经、患病组织等。
在一方面，通过使用棱状结构460和共面的图像捕获传感器410b、415b来收集另外的关于照明与视场中的组织和其他物体的相互作用的方式的信息，由此增强该场景的成像。具体地说，照明光的偏振状态被组织表面、该组织中的表面下结构以及外科手术器械不同地扰乱。
有至少两种方式来实现在照明侧上的增强的特征区分能力。这种照明可以是主要偏振的或主要非偏振的。如本领域技术人员已知的，光从不被完全偏振化，因此主要偏振的意识是被偏振到区分所要求的程度，例如理想的是好于1,000:1，但是更低的对比比率可以满足。类似地，主要非偏振的意思是未偏振到所要求的程度。
增强的特征区分-非偏振的照明
图5a是具有图像捕获单元525l、525r和照明通道505的立体内窥镜502a的远端的示意图，该通道提供来自照明器的非偏振光。如由箭头535指示的，远端方向朝向组织503并且近端方向远离组织503。
图像捕获单元525r、525l各自包括透镜组件501r、501l和传感器组件520r、520l。传感器组件520r、520l被定位为接收传递通过透镜组件501r、501l的光。在一方面，传感器组件520r、520l各自包括棱镜组件530r、530l、反射单元540r、540l以及共面的图像捕获传感器(510r、515r)、(510l、515l)。立体内窥镜502a有时被称为内窥镜502a。
一些来自照明通道505的照明在组织503的表面处被反射。虽然在图5a中未示出，但是一些来自照明通道505的照明还可以被内窥镜502a的视场内的外科手术器械反射。一些组织赋予来自那些组织的反射光中的偏振度。
在以下说明中，描述了在立体内窥镜502的右通道中的光路。由于内窥镜502a的对称性，通过内窥镜502a的左通道的光路等同于在右通道中的那些，因此在以下说明中，左通道参考号被包括在对右通道中的元件的描述之后的小括号内。这表示该描述也适用于左通道中的对应元件。
来自组织503的偏振和非偏振的反射光传递通过透镜组件501r(501r)中的透镜元件504r(504l)到达光阑570r(570l)。在透镜组件401b(图4b)中的这些元件是透镜元件504r(504l)的示例。在这个示例中，将可选的四分之一波长板(quarterwaveplate)580r(580l)插入到光阑570r(570l)与图像捕获单元525r(525l)的远端表面之间的光路中。在另一方面(未显示)，四分之一波长板580r(580l)不包括在该光路中。
传递通过光阑570r(570l)的光被传感器组件520l(520r)接收并且进入包括分束器531r(531l)的棱镜组件530r(530l)。在这个方面，分束器531r(531l)是基于偏振的分束器。分束器531r(531l)被配置为基于接收到的光的偏振状态反射该接收到的光的第一部分，并且被配置为基于该接收到的光的偏振状态传输该接收到的光的第二部分。在一方面，分束器531r(531l)是涂覆表面。
例如，进入棱镜组件530r(530l)的非偏振光在第一图像捕获传感器510r(510l)与第二图像捕获传感器515r(515l)之间被分束器531r(531l)均匀地分开。根据光的偏振的相对取向和表面531r(531l)的涂层取向，进入棱镜组件530r(530l)的线性偏振光被分束器531r(531l)反射或传输。在正交情况下，所有的偏振光被导向到第一图像捕获传感器510r(510l)或第二图像捕获传感器515r(515l)。在一方面，该光到涂覆表面531r(531l)的入射角小于45°。
涂覆的第一表面531r(531l)将接收到的光的第一部分反射到第二表面532r(532l)，第二表面532r(532l)进而将该光导向(例如，反射)到第一图像捕获传感器510r(510l)上。第二表面532r(532l)可以是涂覆表面或全内反射表面。第二表面532r(532l)被定位为使得除了由涂覆的第一表面531r(531l)反射的光之外没有光投射到第二表面532r(532l)。
涂覆的第一表面531r(531l)将接收到的光的第二部分传输通过表面531r(531l)到反射单元540r(540l)。具体地说，传输通过涂覆的第一表面531r(531l)的光被反射单元540r(540l)的第三表面541r(541l)接收，第三表面541r(541l)进而将该光导向(例如，反射)到第二图像捕获传感器515r(515l)上。表面541r(541l)可以是涂覆表面或全内反射表面。
在一方面，棱镜组件530r(530l)和反射单元540r(540l)被包括在棱状结构中。在这个方面，棱状结构等同于具有埋置涂覆表面431b的棱状结构460(图4b)，该埋置涂覆表面具有埋置的多层偏振选择层，如在以下更全面地描述的。因此，对棱状结构460的描述适用于在图5a的方面中使用的棱状结构。
涂覆的第一表面531r(531l)是，例如，埋置的多层偏振分束器。这些层对于本领域技术人员是已知的，并且普遍用于偏振立方分束器(polarizingbeamsplittercube)。这些基于介电膜的涂层常常被埋置并且这些涂层用于一方面中。替代地，基于偏振的分束器可以使用来自犹他州奥勒姆的莫克斯泰克公司(
图像捕获传感器510r(510l)和515r(515l)是共面的。在一方面，从光阑570r(570l)到涂覆的第一表面531r(531l)到第二表面532r(532l)到图像捕获传感器510r(510l)的第一光路长度大致等于从光阑570r(570l)通过涂覆的第一表面531r(531l)到第三表面541r(541l)到图像捕获传感器515r(515l)的第二光路长度。同样，这些光路长度被定义为起始于光阑570r(570l)处是说明性的而并不旨在是限制性的。这些光路长度还可以不同地定义，例如相对于棱镜组件530r(530l)的接收到的光进入棱镜组件530r(530l)所通过的远端面定义，相对于透镜组件501r(501l)中的第一元件定义，或者相对于涂覆的第一表面531r(531l)定义。
共面的图像捕获传感器510r(510l)和515r(515l)具有通过透镜组件501r(501l)中的前端光学结构的共同光路长度以及大致相同的到传感器组件520r(520l)中的每个图像捕获传感器的光路长度。一个图像捕获传感器510r(510l)捕获由偏振分束器531r(531l)反射的光组成的图像。另一个图像捕获传感器515r(515l)捕获由偏振分束器531r(531l)传输的光组成的图像。
图像捕获单元525r(525l)反映两个偏振状态(正交线性偏振态、或借助四分之一波长板580r(580l)形成的左右旋圆偏振态)。在这种情况下，图像捕获单元525r(525l)采集的这些图像提供基于由组织本身中的这些结构赋予的优先偏振的信息。图像捕获单元525r(525l)可以仅捕获接收到的光的偏振状态的两个正交分量的相对强度(不是该光的全部偏振性质)。然而，这足以提供有用的信息是足够的。
例如，当光从表面被镜面反射时，该光被优先偏振。该偏振的程度(以及该偏振的状态)取决于照明角度和该表面的表面反射特性。
在临床环境中，这使得能够减少一些镜面反射。进入图像捕获单元525r(525l)的反射光基于该线性偏振而被分开并且两个图像被捕获。通过执行软件可以识别和减少在这些捕获的图像中的从闪亮工具离开的反射(reflectionsoffshinytools)，因为这些反射出现在一个捕获的图像中而不出现在另一个捕获的图像中。这个过程起作用，因为被这些闪亮工具反射的光被部分偏振。这个过程导致呈现给外科医师的在立体显示器251上的图像中的镜面反射减少。
在一方面，双重图像增强模块240r(240l)(图2)处理由图像捕获传感器510r(510l)和515r(515l)(图5a)捕获的这些图像，以便减少来自外科手术器械的反射。来自图像捕获传感器515r(515l)捕获的第二图像中的像素的信息用来修改图像捕获传感器510r(510l)捕获的第一图像中的像素，例如，从第一图像中的对应像素值减去第二图像中的像素值的一百分比，以便进一步降低代表该外科手术器械的像素的亮度。在一方面，该百分比是凭经验确定的。这是有可能的，因为这两个图像具有同一个前端光学结构并且相对于彼此在空间上配准以及相对于彼此在时间上配准。
另外地，一些组织赋予组织反射的光中的偏振程度，例如，长的纤维组织(stringytissue)可以对该反射光赋予偏振。在这个方面，双重图像增强模块240r(240l)(图2)处理图像捕获传感器515r(515l)从接收的偏振光捕获的第二图像中的像素，并且可以例如对这些像素进行假色处理。然后将假色图像与来自图像捕获传感器510r(515l)的第一图像结合，并且将结合的图像发送到立体显示器251，供外科医师观察。在这个背景下，“假色”是好事情；它使得感兴趣的特定像素相对于背景能够在视觉上突出。
另外，或替代地，双重图像增强模块240r(240l)(图2)处理图像捕获传感器515r(515l)从接收的偏振光捕获的第二图像中的像素，然后确定图像捕获传感器510r(510l)捕获的第一图像中的对应像素。双重图像增强模块240r(240l)改变在第一图像中的对应像素的特性，例如，使它们更透明，并且然后将第一和第二图像结合。结合的图像被发送到立体显示器251，以便外科医师观察。由于不使入射光偏振的组织现在是更透明的，这允许外科医师更清楚地识别使该入射光偏振的组织，因此提供用于组织区分的另外的提示。因此，基于接收到的光中的偏振差，由双重图像增强模块240r(240l)产生的结合图像增加了特征在该图像中的显著性，例如，通过使上覆组织更透明并且通过减少其他镜面反射，使该特征更可见。
由于图像捕获单元中的这些图像捕获传感器是共面的，因此在这两个图像捕获单元中的这些图像捕获传感器组处于彼此固定的恒定关系。同样，用于这些图像捕获单元的每一个的透镜组件是等效的。因此，当处理这些不同的图像以保证由外科医师观察的这些图像是对齐的且形成正确的立体图像时，不需要主动配准。相对于在没有这些特征的情况下被捕获的图像，这减少了这些图像所需要的处理。
增强的特征区分-偏振的照明
图5b是具有图像捕获单元525r、525l和照明通道505的立体内窥镜502b的远端的示意图，该通道提供来自照明器的光。如由箭头535指示的，远端方向朝向组织503并且近端方向远离组织503。
图像捕获单元525r、525l各自包括透镜组件501r、501l以及传感器组件520r和520l。传感器组件520r和520l被定位为接收传递通过透镜组件501r、501l的光。在一方面，传感器组件520r、520l各自包括棱镜组件530r、530l、反射单元540r、540l以及共面的图像捕获传感器(510r、515r)、(510l、515l)。同样，立体内窥镜502a有时被称为内窥镜502a。
在照明光路长度中提供使照明偏振的偏振器581。在图5b中，偏振器581被示为在立体内窥镜502a的远端，但是这仅是说明性的而并不旨在限制于这个位置。偏振器581代表照明路径中的偏振器并且可以被置于这个路径中的适当位置。替代地，照明通道505可以递送来自偏振源的光，或者偏振光源可以位于位置581处。
在以下说明中，描述了在立体内窥镜502b的右通道中的光路。通过内窥镜502b的左通道的光路等同于右通道中的光路，因此在以下说明中，左通道参考号被包括在对右通道中的元件的描述之后的小括号内。这表示该描述也适用于左通道中的对应元件。
来自组织503的偏振和非偏振的光传递通过透镜元件504r(504l)和光阑570r(570l)。再次，透镜组件401b(图4b)中的这些元件是透镜元件504r(504l)的示例。在这个示例中，已经移除了光阑570r(570l)和传感器组件520r(520l)的远端表面之间的可选的四分之一波长板580r(580l)(图5a)。然而，在以下描述的其他方面，该四分之一波长板被包括在透镜组件中。
传递通过光阑570r(570l)的光被传感器组件520l(520r)接收并且通过远端面进入棱镜组件530r(530l)。如以上所述的，在棱镜组件530r(530l)中的偏振分束器531r(531l)被配置为基于接收到的光的偏振状态反射该接收到的光的第一部分，并且被配置为基于该接收到的光的偏振状态传输该接收到的光的第二部分。
在这个示例中，偏振分束器531r(531l)被配置为将一个偏振状态导向到第一图像捕获传感器510r(510l)上，并且被配置为将其余的光传输(例如，传递)到反射单元540r(540l)，反射单元540r(540l)进而将该传输的光导向到图像捕获传感器515r(515l)上。因此，不重复描述棱镜组件530r(530l)、偏振分束器531r(531l)、反射单元540r(540l)和图像捕获传感器510r(510l)和515r(515l)，并且将关于图5a的以上描述通过引用结合在此。
一些来自偏振器581的偏振照明从组织503的表面反射。在该表面上反射的光与偏振照明具有大致相同的偏振，例如，该顶部表面反射保留了投射到组织503的光的初始偏振状态的大部分。
在该表面处未被反射的光进入组织503并且与特征503-1到503-4相互作用，这些特征位于组织503的表面下方并且修改了入射光的偏振。进入组织503的光被散射或吸收。一些散射光退出组织503的表面并且在透镜元件504r(504l)处作为反射光出现。因此，由于偏振的变化，一些退出组织503的光提供了这些捕获的图像中的另外的信息。因此，当用偏振光照明并且用偏振敏感检测器成像时，具有不同于该照明的偏振的光(例如，消偏振的光)必须已经与组织503的表面下相互作用。
例如，如果该照明被线性地偏振，则当它进入组织503的表面下特征503-1至503-4并从其反射回来时，该光被渐进地消偏振。来自表面下特征503-1至503-4的反射光实质上被消偏振。
因此，通过偏振器581和涂覆的第一表面531r(531l)的适当取向,图像捕获传感器515r(515l)捕获来自主要从组织503的表面反射的光以及大致百分之五十的来自表面下特征503-1至503-4的光的图像。图像捕获传感器510r(510l)捕获来自主要从表面下特征503-1至503-4反射的光的图像，而不捕获来自表面503的光的大部分。传感器组件520r(520l)可以仅捕获接收到的光的偏振状态的两个正交分量的相对强度(不是该光的全部偏振性质)。然而，这足以提供有用的信息。
具体地说，偏振照明与偏振敏感成像的结合使用使得人们能够在成像过程中选择性地减少来自组织的表面层。在这个方面，双重图像增强模块240r(240l)(图2)处理图像捕获传感器510r(510l)从接收到的光捕获的第一图像中的像素，并且然后确定图像捕获传感器515r(515l)捕获的第二图像中的对应像素。在来自用户界面262的输入的控制下，双重图像增强模块240r(240l)可以调整在立体显示器251上显示什么。例如，为了只看见表面503，图像增强模块240r(240l)从图像捕获传感器515r(515l)捕获的图像中减去图像捕获传感器510r(510l)捕获的图像。得到的图像被发送到立体显示器251，以便外科医师观察。替代地，为了响应于来自用户界面262的输入而显示表面下特征503-1至503-4，图像增强模块240r(240l)缩放(scale)由图像捕获传感器510r(510l)捕获的图像，以实现与显示在立体显示器251上的图像相似的亮度。得到的图像被发送到立体显示器251，以便外科医师观察。
由于未改变入射光的偏振的表面组织现在是更透明的，这允许外科医师更清楚地识别改变入射光的偏振的这些表面下特征，因此提供用于组织区分的另外的提示。因此，基于接收到的光的偏振差异，由双重图像增强模块240r(240l)产生的增强图像增加了特征在该图像中的显著性。
另外，如果照明被圆偏振，则来自组织503的顶部表面的反射随着相反的偏振的偏手性而被反射。在传感器组件520r(520l)中，如果反射光通过四分之一波长板(参见图5a中的四分之一波长板580r)进入并且然后在线性偏振的基础上分开，则顶部表面反射被显著减弱并且从闪亮工具离开的反射也被减少。表面下组织层仍然渐进地将该光消偏振，使得这些表面层能够以比以前更透明地出现的方式被呈现给外科医师。这使得能够更好地区分组织层、组织类型或在组织503的表面下方它们自己表现的疾病状态。因此，外科医师具有优先看见“通过”组织503的顶部表面的能力，因为如以前所述的，通过使该顶层更透明或通过减少镜面反射，来自这个顶层的反射可以被抑制。另外，如以上所述的，只可以看见组织503的顶部表面。
这项技术可以突出的组织特征的示例可以包括子宫内膜异位症。这项技术还可以增强区分具有偏振特征(polarizationsignature)的神经的能力。因此，在不同的临床环境中，基于接收到的光的偏振差异，由双重图像增强模块240r(240l)产生的结合图像增加了特征在该图像中的显著性。
增强的分辨率和和动态范围
虽然在内窥镜的远端处的现有技术照相机提供了立体彩色图像，但是这些照相机受限于由捕获每个立体通道中的图像的单个ccd提供的分辨率和动态范围。与立体内窥镜上的常规照相机一样，该分辨率被这些ccd的像素的数量和滤色器阵列限制。由于在给定了立体内窥镜的远端中可用的有限空间的情况下，增加这些ccd上的像素的数量是不切实际的，因此进一步增加该分辨率是不切实际的。
类似地，外科手术部位场景的中心通常比该场景的外周明亮得多。如果在捕获的图像中的亮度范围超过ccd的动态范围，则这可能导致捕获的图像被剪裁(在强度方面)。通过提供更高的表观分辨率和更高的动态范围两者，图像捕获单元625r、625l(图6a)消除了现有技术的这些问题，如在以下更全面地描述的。
图6a是具有图像捕获单元625l、625r和照明通道505的立体内窥镜602的远端的示意图，该通道提供来自照明器的光。如由箭头635指示的，远端方向朝向组织603并且近端方向远离组织603。
图像捕获单元625r、625l各自包括透镜组件601r、601l和传感器组件620r和620l。传感器组件620r、620l被定位为接收传递通过透镜组件601r、601l的光。在一方面，传感器组件620r、620l各自包括棱镜组件630r、630l、反射单元640r、640l以及共面的图像捕获传感器(610r、615r),(610l、615l)。立体内窥镜602有时被称为内窥镜602。
在以下说明中，描述了立体内窥镜602的右通道中的光路。由于内窥镜602的对称性，通过立体内窥镜602的左通道的光路等同于右通道中的光路，因此在以下说明中，左通道参考号被包括在对右通道中的元件的描述之后的小括号内。这表示该描述也适用于左通道中的对应元件。同样在图6a中，具有与图5a和5b中的元件相同参考号的元件是与关于图5a和5b先前描述的那些元件相同或等同的元件。为了避免重复，关于图6a，具有相同参考号的元件不再详细描述。
来自组织503的光传递通过透镜组件501r(501l)中的透镜元件504r(504l)和光阑570r(570l)。透镜组件401b(图4b)中的这些元件是透镜元件504r(504l)的示例。传感器组件620l(620r)接收的光进入棱镜组件630r。棱镜组件630r(630l)包括分束器631r(631l)，例如，涂覆的第一表面，该第一表面反射第一百分比的由棱镜组件630r(630l)接收的光并且将第二百分比的该接收到的光传递通过该涂覆的第一表面，例如，传递通过分束器631r(631l)到反射单元540r(540l)。
涂覆的第一表面631r(631l)反射的光由第二表面632r(632l)接收，第二表面632r(632l)进而将该光导向(例如，反射)到第一图像捕获传感器610r(610l)上。第二表面632r(632l)例如是涂覆表面以及全内反射表面之一。传输通过涂覆的第一表面631r(631l)的光被反射单元540r(540l)的第三表面541r(541l)接收，第三表面541r(541l)进而将该光导向(例如，反射)到第二图像捕获传感器615r(615l)上。
第二表面632r(632l)被定位为使得除了由涂覆的第一表面631r(631l)反射的光之外没有光投射到第二表面632r(632l)。在一方面，该光到涂覆的第一表面631r(631l)的入射角小于45°。
在一方面，棱镜组件630r(630l)和反射单元540r(540l)被包括在棱状结构中，该棱状结构具有包括棱镜组件630r(630l)的五棱镜。在这个方面，该棱状结构等同于棱状结构460(图4b)，该棱状结构460具有埋置的涂覆表面431b，该涂覆表面431b被配置为反射第一百分比的接收到的光并且传递通过该涂覆表面第二百分比的该接收到的光。因此，棱状结构460的描述适用于在图6a的方面中使用的棱状结构。
在一方面，第一和第二百分比是大致相等的。在另一方面，第一和第二百分比是不同的。因此，棱镜组件630r(630l)包括被实施为涂覆的第一表面531r(531l)的分束器，该分束器将接收到的光分成两个部分—(i)第一百分比的接收到的光，有时被称为第一部分，以及(ii)第二百分比的接收到的光，有时被称为第二部分。
图像捕获传感器610r(610l)和615r(615l)是共面的。在一方面，从光阑570r(570l)到涂覆的第一表面531r(531l)到第二表面632r(632l)到图像捕获传感器610r(610l)的第一光路长度大致等于从光阑570r(570l)通过涂覆的第一表面631r(631l)到第三表面541r(541l)到图像捕获传感器615r(615l)的第二光路长度。再次，这些光路长度被定义为起始于光阑570r(570l)处是说明性的而并不旨在是限制性的。这些光路长度还可以不同地定义，例如相对于棱镜组件630r(630l)的接收到的光进入棱镜组件630r(630l)所通过的远端面定义，相对于透镜组件601r(601l)中的第一元件定义，或者相对于涂覆的第一表面631r(631l)定义。
因此，共面的图像捕获传感器610r(610l)和615r(615l)具有通过透镜组件601r(601l)中的前端光学结构的共同光路长度以及大致相同的到传感器组件620r(620l)中的每个图像捕获传感器的光路长度。一个图像捕获传感器610r(610l)捕获来自传感器组件620r(620l)接收的光的第一部分的图像。另一个图像捕获传感器615r(615l)捕获来自传感器组件620r(620l)接收的光的第二部分的图像。如在以下更全面地描述的，在一方面，图像捕获传感器610r(610l)和615r(615l)中的每一个是具有滤色器阵列的色彩传感器。在另一方面，将该滤色器阵列从这些色彩传感器之一移除，并且该传感器起单色传感器的作用。将另一个色彩传感器的滤色器阵列针对由这个传感器接收的颜色分量的数量进行修改。
增强的分辨率—示例一
在一方面，棱镜组件630r(630l)的涂覆的第一表面631r(631l)被配置为反射并且被配置为传输由棱镜组件630r(630l)从透镜组件601r(601l)接收的光的大致相等的部分，即，第一和第二百分比是大致相等的。当分束器631r(631l)反射和传输大致相等部分的光时，该分束器被称为平衡分束器。在这个方面，图像捕获传感器610r(610l)和615r(615l)中的每一个是具有滤色器阵列的色彩传感器。该滤色器阵列是拜耳滤色器阵列。因此，这两个拜耳模式图像捕获传感器通过同一个光学器件观看同一个场景。这里，拜耳模式图像捕获传感器是单芯片传感器，或者包括拜耳滤色器阵列的单芯片的一部分。如以上提及的，共面的图像捕获传感器610r(610l)和615r(615l)具有共同前端光学结构和到每个传感器的大致相同的光路长度。
当棱镜组件630r(630l)和反射单元540r(540l)被布置为使得拜耳模式图像捕获传感器610r(610l)和615r(615l)两者捕获的这些彩色图像是相同的，图像捕获传感器610r(610l)捕获的彩色图像与图像捕获传感器615r(615l)捕获的彩色图像是相同的场景。因此，借助某种静态校准，在该场景中的空间中的每一个点由两个像素代表——图像捕获传感器610r(610l)捕获的彩色图像中的一个像素以及图像捕获传感器615r(615l)捕获的彩色图像中的一个像素。
相比于对于该场景中的空间中的每一个点具有一个像素的通常彩色图像，对于在该场景中的空间中的每一个点捕获两个像素具有若干优点。例如在显示器251中，对于空间中的点各自基于两个像素的这些像素具有降低的噪声水平和更大的表观分辨率。从中央控制器260中的双重图像增强模块240r(240l)发送到立体显示器251的每个输出像素是基于两个像素的采样，一个来自每个拜耳模式图像捕获传感器610r(610l)和615r(615l)捕获的这些图像。
由双重图像增强模块240r对两个输入像素进行采样允许对比在中央控制器260仅处理来自单个图像捕获传感器的图像时可能的小的特征进行成像。因此，在立体显示器251上观察的图像中的表观分辨率大于基于单个图像捕获传感器捕获的图像的在立体显示器251上观察的图像中的分辨率。这里，发送到立体显示器251的图像的分辨率可以高于来自单个图像捕获传感器的图像的分辨率，因此被认为具有更大的表观分辨率。
增强的分辨率—示例二
在另一方面，棱镜组件630r(630l)的涂覆的第一表面631r(631l)仍然被配置为反射和传输棱镜组件630r接收的光的大致相等的部分，即，第一和第二百分比是大致相等的。
图像捕获传感器610r(610l)
和615r(615l)中的每一个是具有拜耳滤色器阵列的色彩传感器。再次，共面的图像捕获传感器610r(610l)和615r(615l)具有共同前端光学结构和到每个传感器的大致相同的光路长度。然而，在不改变该总光路长度的情况下，棱镜组件630r(630l)的表面631r(631l)和632r(632l)被轻微倾斜，使得图像捕获传感器610r(610l)捕获的图像从图像捕获传感器615r(615l)捕获的图像偏移二分之一像素。
在这种情况下，这两个拜耳模式图像捕获传感器通过同一个光学器件“观看”同一个场景。然而，这两个捕获的图像彼此偏移半个像素。图6b是第一图像中的一块像素691以及第二图像中的对应的一块像素695的偏移的示意图。在像素块691中的每一个像素由具有虚线周边的正方形表示，并且该像素的颜色由该正方形的中心处的颜色的第一个字母跟着数字2给出。在像素块695中的每一个像素由具有实线周边的正方形表示，并且该像素的颜色由该正方形的中心处的颜色的第一个字母跟着数字1给出。在该示例中，拜耳滤色器阵列是红-绿-蓝-绿(rgbg)阵列。
在一方面，在中央控制器260中的双重图像增强模块240r(240l)将这些像素插入这两个图像中，以针对发送到立体显示器251的图像生成具有更高空间分辨率的彩色图像。该插入等同于在三ccd彩色照相机中所完成的那样，除了与三ccd彩色照相机不同的是，使用了两种彩色图像。可用于采样的更大数量的像素增强了表观分辨率并且提供了提高的信噪比性能。
增强的分辨率—示例三
在又一方面，棱镜组件630r(630l)的涂覆的第一表面631r(631l)被配置为反射由棱镜组件630r从透镜组件601r(601l)接收的光中的第一颜色分量，并且被配置为传输该接收到的光中的其他颜色分量。在这个方面，图像捕获传感器610r(610l)和615r(615l)并不每个都是具有拜耳滤色器阵列的色彩传感器。
相反，图像捕获传感器610r(610l)是单色传感器，例如，滤色器阵列被移除的色彩传感器。为了说明的目的，由传感器组件620r(620l)接收的光被认为具有多个可见颜色分量——第一可见颜色分量、第二可见颜色分量以及第三可见分量。图像捕获传感器615r(615l)是具有滤色器阵列的色彩传感器，该滤色器阵列是针对三个可见颜色分量中的两个，例如，多个可见颜色分量中的可见颜色分量的数量减去一。如以上提及的，共面的图像捕获传感器610r(610l)和615r(615l)具有共同前端光学结构和到每个传感器的大致相同的光路长度。
在这个方面，棱镜组件630r(630l)和反射单元540r(540l)被布置为使得图像捕获传感器610r(610l)和615r(615l)两者捕获的这些图像是相同的场景，但是第一图像是单色的，而第二图像是多色的。例如，单色图像代表绿色分量图像，而多色图像是红色分量和蓝色分量图像。在这种情况下，图像捕获传感器615r(615l)的滤色器阵列是红色和蓝色棋盘模式。
绿色像素与红色和蓝色像素的比率与拜耳滤色器阵列中的相同，但是与现有技术的单色传感器相比，每种颜色的像素有两倍。因此，绿色像素的分辨率是使用全空间采样由在中央控制器260中的双重图像增强模块240r(240l)产生的，而红色和蓝色像素的分辨率是使用相对于绿色像素的减少的空间采样由双重图像增强模块240r(240l)产生的。虽然如此，对于红色和蓝色像素的空间采样在这个方面与在现有技术的单色传感器中对于绿色像素的空间采样是相同的。这种增强的空间采样还提供了增强的表观分辨率和提高的信噪比。
增强的动态范围
通常，外科手术部位图像是相似的并且具有明亮的中央区域和较暗的外周区域。同样，来自一些外科手术器械的反射比来自组织的反射明亮得多。这导致现有技术内窥镜中的图像捕获传感器捕获的亮度值的范围的差异。如果这些亮度值超过图像捕获传感器的动态范围，则针对这些像素的值被剪裁，即，被设置到图像捕获传感器的最高值。
假定场景具有从0到400的亮度范围。如果这个场景被成像到具有从0到100的动态范围的传感器，则超过100的值被剪裁。例如，如果对于一个像素的亮度值应该是400，则针对这个像素捕获的亮度值是100。对于具有大于100的亮度的场景部分的亮度信息丢失，因为所有大于100的亮度值都被剪裁并且被设置到100。如果图像捕获传感器的增益被调整到0.25，则高亮度值不被剪裁，但是低于四的所有场景亮度值被映射到零。对于这种情况，这些高亮度值不被剪裁，但是在该场景中的较暗部分的信息丢失。通过保留高亮度信息以及相对于现有技术系统的更多的低亮度信息，图像捕获单元625r(625l)对于这个问题提供了解决方案。0到400的亮度范围仅是说明性的。在一个实际的外科手术场景中，亮度变化可以是许多数量级。因此，外科手术场景的动态范围大于图像捕获传感器的动态范围。因此，单个图像捕获传感器不能捕获外科手术场景的动态范围。
传感器组件620r(620l)中的棱镜组件630r(630l)的涂覆的第一表面631r(631l)(例如，分束器)被配置为反射并且被配置为传输由棱镜组件630r(630l)接收的光的不同部分，即，以上定义的第一和第二百分比是不同的。在这个方面，分束器631r(631l)是动态范围调整的分束器。动态范围调整的分束器反射接收到的光的m％并且传输接收到的光的n％，其中m％不同于n％。这里，m和n是正数。在一方面，m％加n％等于大约百分之百。这种相等可以不是精确的，因为光损失以及传感器组件620r(620l)的不同部分的容差所致。
在这个方面，图像捕获传感器610r(610l)和615r(615l)中的每一个是具有滤色器阵列的色彩传感器。在一方面，滤色器阵列是拜耳滤色器阵列。因此，这两个拜耳模式图像捕获传感器610r(610l)和615r(615l)通过同一个光学器件观看同一个场景。这里，拜耳模式图像捕获传感器是包括拜耳滤色器阵列的单芯片传感器或者单芯片的一部分。如以上提及的，共面的图像捕获传感器610r(610l)和615r(615l)具有共同前端光学结构和到每个传感器的大致相同的光路长度。对于具有已知的动态范围的一对共面的图像捕获传感器610r(610l)和615r(615l)，例如，图像捕获传感器610r(610l)和615r(615l)的增益被调整为对应于分束器631r(631l)的配置。
通常，用于第一表面631r(631l)的涂层的特性的选择考虑捕获的图像的亮度和/或捕获的图像的一部分的亮度、图像捕获传感器610r(610l)和615r(615l)的可能动态范围以及成像管道的容量。如这里所使用的，成像管道是中央控制系统260(图2)的处理这些捕获的图像并且为立体显示器251产生输出图像的那部分。成像管道可以是ccu230r(230l)的一部分或双重图像增强模块240r(240l)的一部分，这取决于所选择的实施方式。
为了保证在典型的外科手术场景的重要区域中没有信息被剪裁，该区域的最大亮度bmax是凭经验确定的。该重要区域可以是全场景或该全场景的一部分。然后确定图像捕获传感器610r(610l)的动态范围，例如，0到slmax。由表面631r(631l)上的涂层反射的接收到的光的部分m被选择为：
m≈(slmax/bmax)
由第一表面631r(631l)上的涂层反射的接收到的光的百分比m％被选择为使得入射在第一图像捕获传感器610r(610l)上的光的动态范围不被剪裁。因此，在这个方面，第一图像捕获传感器610r(610l)捕获的图像的高亮度区域中的像素的亮度不被剪裁。表面631r(631l)上的涂层传输的接收到的光的百分比是n％，其中n％大致等于一百减去m％。第二图像捕获传感器615r(615l)的增益被调整为使得传感器615r(615l)的动态范围是从零到大约n％倍最大亮度bmax。
作为一个示例，考虑具有400的最大亮度bmax的场景。图像捕获传感器610r(610l)具有0到100的动态范围。因此，
m＝100/400＝1/4
m％＝25％
n％＝75％
因此，在第一表面631r(631l)上的涂层被选择为反射接收到的光的大约25％并且传输接收到的光的大约75％。图像捕获传感器615r(615l)的增益被调整为具有0到300的动态增益。
传感器610r(610l)和615r(615l)捕获的这两个图像实质上是同时采集的。由传感器组件620r(620l)接收的光被分成两个图像，其中传感器610r(610l)上的亮度范围是0到100(1/4*400)，而传感器615r(615l)上的亮度范围是0到300(3/4*400)。该场景的高亮度区域中的像素在传感器615r(615l)捕获的图像中是未饱和的。与此同时，传感器610r(610l)捕获的图像保留该场景的较暗部分并准确地对其成像。注意，在这个示例中，如果这些图像捕获传感器没有保存小于一的值，则具有亮度为一的场景区域可能丢失。然而，这仅是四百分之一部分，因此不太可能被观察立体显示器251上的图像的外科医师注意到。
在一些情况下，通过有意让传感器接收在高端饱和的大部分光，可以获得更好的结果。这扩大了在其他传感器太暗而不能记录任何值的低端处的范围。
当棱镜组件630r(630l)和反射单元540r(540l)被布置为使得拜耳模式图像捕获传感器610r(610l)和615r(615l)两者捕获的这些彩色图像是具有不同亮度范围的相同场景时，在该场景中的空间中的每个点由两个像素表示——图像捕获传感器610r(610l)捕获的彩色图像中的一个像素以及图像捕获传感器615r(615l)捕获的彩色图像中的一个像素。然而，如果没有一个像素上的亮度值被剪裁，则这两个像素具有彼此线性缩放的不同的亮度值。
在这个示例中，最大亮度被假定是已知的。然而，在临床环境中，立体内窥镜的结构是固定的并且不是每个场景都具有相同的最大亮度。因此，如果刚才描述的配置被用于最大亮度为500的场景中，则针对该场景的最亮部分的这些像素将被剪裁。虽然如此，动态范围仍然被扩展到现有技术解决方案。
相比于针对空间中的每一个点具有一个亮度值的正常彩色图像，针对该场景中的空间中的每一个点捕获具有不同亮度值的两个像素具有优点。例如，在显示器251中，对于中等亮度区域，各自基于空间中的点的两个像素的这些像素具有降低的噪声水平，并且动态范围与现有技术相比被扩展。这些优点是以上描述的空间分辨率优点之外的。
从中央控制器260中的双重图像增强模块240r(240l)到立体显示器251的每个输出像素是基于两个像素的采样，它们分别来自拜耳模式图像捕获传感器610r(610l)和615r(615l)捕获的图像中的每一个。如以上提及的，与中央控制器260仅处理来自单个图像捕获传感器的图像时可能的情况相比，由双重图像增强模块240r(240l)对两个输入像素采样允许对更小的特征成像。另外，在一方面，在双重图像增强模块240r(240l)中的色调映射过程将这些采集的图像的区域映射，以保留对比度并且匹配立体显示器251的动态输出范围。色调映射将来自这些捕获的图像的亮度映射到可显示的范围，同时保留对于最佳代表初始场景内容而言重要的图像对比度和颜色外观。这种色调映射与现有技术相似，除了它是通过对空间和时间中的同一个点采样两个像素值而不是依次采样一个像素值来增强之外。
在以上示例中，通过色调映射将从0到400的亮度值映射到立体显示器251的动态输出范围(对比度)。对于未饱和的像素，针对空间中的同一个点，传感器615r(615l)捕获的图像中的亮度值是传感器610r(610l)捕获的图像中的亮度值的三倍。色调映过程利用这个关系来确定输出到立体显示器251的图像中的像素的亮度。基于有关这些周围像素的信息，色调映射处理各组/区域的像素，以保持对比度并且因此降低噪声水平和动态范围。
对于全动态范围性能的增益，0到100的现有技术亮度范围已经扩展至1到400的亮度范围。结合这两个图像并且利用双重采样进一步使得能够降低中等亮度区域中的噪声以及增加全动态范围。
在图6a以及关于图6a的以上描述的每一个示例的方面中，立体通道中的这些图像捕获传感器是共面的。这仅是说明性的而并不旨在是限制性的。例如，这些图像捕获传感器中的第一个可以具有在第一平面中的顶部传感器表面，并且这些图像捕获传感器中的第二个可以具有在第二平面中的顶部传感器表面。(参见图9。)第一和第二平面是彼此平行的，并分开已知的距离。在分束器与反射单元中的反射表面之间的间距被调整为补偿该已知的距离，使得到第一图像捕获传感器的第一光路长度大致等于到第二图像捕获传感器的第二光路长度。因此，以上描述的图6a的每一方面直接适用于这种配置，因为这两个光路长度保持大致相等。
增强的颜色性能
目前，大多数成像系统使用三种可见颜色分量：红、绿以及蓝(rgb)，这被称为三基色模型。大多数照相机使用具有基于rgb的滤色器阵列的拜耳滤色器阵列图像捕获传感器。这种三基色模型也用于大多数液晶显示器(lcd)和等离子显示器中。
这种三基色模型实际上限制了可以被照相机捕获并且呈现在显示器中的色调的范围。使用另外的基色使得能够捕获且显示更感知准确的图像。夏普电子公司(sharp)销售了具有四原色技术(quadpixeltechnology)的发光二极管(led)背光lcd电视。夏普公司将黄色添加到常规的红、绿以及蓝滤色器阵列中，使得更丰富的颜色能够被显示。
通过照相机捕获图像中的另外的颜色分量将使得能够重现更真实的颜色。然而，捕获更多的颜色分量需要将常规的拜耳红、绿、绿、蓝(rggb)滤色器阵列改变为包括新的颜色，例如黄色和橙色，即，将滤色器阵列改变为红、橙、绿、黄、绿、蓝(rogygb)。然而，对于具有给定数量像素的图像捕获传感器，这种六分量滤色器阵列将降低该照相机的空间分辨率并且将需要开发适合于打印在图像传感器上的新的掩膜和染料。黄色或橙色的选择将与该显示器一起被优化。适当的照明器与图像捕获单元725r(725l)的结合使用提供了例如每像素高达六个的颜色分量矢量，而没有降低空间分辨率并且不需要开发适合于打印在图像传感器上的新的掩膜和染料。这种能力以许多方式实施，如在以下更全面地描述的。这种能力不但提供了在去马赛克(de-mosaicing)之后每像素三至六个颜色分量矢量，而且还提供了具有延伸的景深的图像，并且还提供了增强的荧光成像能力。
图7a是具有图像捕获单元725l、725r和照明通道705的立体内窥镜702的远端的示意图，该通道提供了来自例如照明器710b(图7b)、照明器71oc(图7c)、照明器710d(图7d)以及照明器710e(图7e)之一的光。参见图2理解照明器如何耦合到照明通道。如箭头735指示的，远端方向朝向组织703并且近端方向远离组织703。
图像捕获单元725r、725l各自包括透镜组件701r、701l和传感器组件720r、720l。传感器组件720r、720l被定位为接收传递通过透镜组件701r、701l的光。在一方面，传感器组件720r、720l各自包括棱镜组件730r、730l，反射单元740r、740l以及共面的图像捕获传感器(710r、715r)、(710l、715l)。立体内窥镜702有时被称为内窥镜702。
在以下说明中，描述了立体内窥镜702的右通道中的光路。由于内窥镜702的对称性，通过立体内窥镜702的左通道的光路等同于右通道中的那些，因此在以下说明中，左通道参考号被包括在对右通道中的元件的描述之后的小括号之内。这表示该描述也适用于左通道中的对应元件。同样在图7a中，具有与图5a和5b中的元件相同参考号的元件是与关于图5a和5b先前描述的那些元件相同或等同的元件。为了避免重复，关于图7a，具有相同参考号的元件不再详细描述。
在图7a中呈现以下文描述的每一个这些不同的方面中的图像捕获单元725l、725r的基本结构。对于就图7a考虑的每一个这些不同的方面，在棱镜组件730r(730l)、反射单元540r(540l)、图像捕获传感器710r(710l)以及图像捕获传感器715r(715l)之间的空间关系和对齐是相同的。然而，在棱镜组件730r(730l)的涂覆的第一表面731r(731l)上的涂层、图像捕获传感器的类型以及在这些图像捕获传感器上使用的滤波器在不同方面可以改变，如以下更全面地描述。
来自组织703的反射光传递通过透镜组件701r(701l)中的透镜元件704r(704l)和光阑570r(570l)。透镜组件401b(图4b)中的这些元件是透镜元件704r(704l)的示例。传递通过透镜组件701r(701l)的光由棱镜组件730r(730l)接收并且进入分束器731r(731l)。在这个方面，分束器731r(731l)被实施为涂覆的第一表面，该涂覆的第一表面反射接收到的光的第一部分，并且将该接收到的光的第二部分传递到反射单元540r(540l)。
涂覆的第一表面731r(731l)反射的光由棱镜组件730r(730l)中的第二表面732r(732l)接收，第二表面进而将该光导向(例如，反射)到第一图像捕获传感器710r(710l)上。表面732r(732l)可以是涂覆表面或全内反射表面。传输通过涂覆的第一表面731r(731l)的光被反射单元540r(540l)的第三表面541r(541l)接收，第三表面进而将该光导向(例如，反射)到第二图像捕获传感器715r(715l)上。
第二表面732r(732l)被定位为使得除了由涂覆的第一表面731r(731l)反射的光之外没有光投射到第二表面732r(732l)。在一方面，该光到涂覆的第一表面731r(731l)的入射角小于45°。
在一方面，棱镜组件730r(730l)和反射单元740r(740l)被包括在棱状结构中，该棱状结构具有包括棱镜组件730r(730l)的五棱镜。在这个方面，该棱状结构等同于棱状结构460(图4b)，并且具有埋置的涂覆表面431b，其包括多个陷波滤波器，如在以下更详细地描述的。因此，棱状结构460的描述适用于在这个方面中使用的棱状结构。
在一方面，涂覆的第一表面731r(731l)反射的第一部分包括接收到的光中的多个颜色分量的第一选定波长，并且涂覆的第一表面731r(731l)传输的第二部分包括该接收到的光中的多个颜色分量的第二选定波长。接收到的光中的多个颜色分量的第一选定波长不同于该接收到的光中的多个颜色分量的第二选定波长。在一方面，涂覆的第一表面731r(731l)包括多个陷波滤波器。这些陷波滤波器将接收到的光分成该第一部分和该第二部分。
图像捕获传感器710r(710l)和715r(715l)是共面的。在一方面，从光阑570r(570l)到涂覆的第一表面731r(731l)到第二表面732r(732l)到图像捕获传感器710r(710l)的第一光路长度大致等于从光阑570r(570l)通过涂覆的第一表面731r(731l)到第三表面741r(741l)到图像捕获传感器715r(715l)的第二光路长度。再次，这些光路长度被定义为起始于光阑570r(570l)处是说明性的而并不旨在是限制性的。这些光路长度还可以不同地定义，例如相对于棱镜组件730r(730l)的接收到的光进入棱镜组件630r(630l)所通过的远端面定义，相对于透镜组件701r(701l)中的第一元件定义，或相对于涂覆的第一表面731r(731l)定义。
因此，共面的图像捕获传感器710r(710l)和715r(715l)具有共同前端光学结构和到每个传感器的大致相同的光路长度。第一图像捕获传感器710r(710l)捕获来自传感器组件720r(720l)接收的光的第一部分的图像。第二图像捕获传感器715r(715l)捕获来自该接收到的光的第二部分的图像。如在以下更全面地描述的，在一方面，图像捕获传感器710r(710l)和715r(715l)中的每一个是具有标准色滤波阵列的色彩传感器。在另一方面，在这些色彩传感器之一上的滤色器阵列以及这种传感器功能是基于内窥镜702接收的光来选择的。
控制器260处理分别被图像捕获传感器710r(710l)和715r(715l)捕获的第一和第二图像，并且为立体显示器251产生输出图像。控制器260为输出图像中的每个像素产生n颜色分量矢量，其中n的范围是从三至六。输出图像中的像素的颜色分量矢量是从第一图像中的对应像素(或像素的一些组合)的颜色分量矢量以及第二图像中的对应像素的颜色分量矢量产生的。回忆一下，输出图像中的每个像素代表被这些图像捕获传感器捕获的该场景中的空间中的点。这些捕获图像中的对应于输出图像中的像素的像素是代表空间中的同一点的像素。
增强的颜色性能-六色分量照明
在第一方面，六色分量照明器710b(图7b)耦合到照明通道705(图7a)。照明器710b包括六个激光照明源710b1到710b6，它们分别产生红色分量r1、红色分量r2、绿色分量g1、绿色分量g2、蓝色分量b1以及蓝色分量b2。对于激光照明源，红色分量r1和r2、绿色分量g1和g2以及蓝色分量b1和b2的波长典型地是2至5纳米(nm)宽，而不是来自常规的基于发光二极管的照明器的每个颜色分量大约60nm。具有多个不同的照明源(其中，一个反射镜用于照明源710b1并且二向色镜用于照明源710b2至710b6)的照明器的配置是已知的，因此在此没有更仔细地考虑。参见例如，美国专利申请12/855,905(2010年8月13日提交；披露了具有双光谱荧光的外科手术照明器)，将其通过引用结合在此。
在这个方面，棱镜组件730r(730l)的涂覆的第一表面731r(731l)包括多个陷波滤波器。第一陷波滤波器反射接收到的光中的红色分量r1并且传输接收到的光中的红色分量r2。第二陷波滤波器反射接收到的光中的绿色分量g1并且传输接收到的光中的绿色分量g2。第三陷波滤波器反射接收到的光中的蓝色分量b1并且传输接收到的光中的蓝色分量b2。使用三个陷波滤波器是为了容易论述，而不旨在限制于这三个分开的滤波器。基于本说明，本领域技术人员能够实施具有在此描述的反射、传输特性的陷波滤波器。涂层设计将实现这些陷波(notch)。参见例如，纽约州罗切斯特市(rochester,newyork)semrock产品的“stopline”和“quad-notch”产品线。
因此，涂覆的第一表面731r(731l)将接收到的光中的红色分量r1、接收到的光中的绿色分量g1以及接收到的光中的蓝色分量b1反射到第二表面732r(732l)。第二表面732r(732l)将从涂覆的第一表面731r(731l)接收的红色分量r1、绿色分量g1以及蓝色分量b1反射到图像捕获传感器71or(710l)上。
涂覆的第一表面731r(731l)将接收到的光中的红色分量r2、接收到的光中的绿色分量g2以及接收到的光中的蓝色分量b2传输到反射单元540r(540l)中的第三表面541r(541l)。第三表面541r(541l)将从涂覆的第一表面731r(731l)接收的红色分量r2、绿色分量g2以及蓝色分量b2反射到图像捕获传感器715r(715l)。
在这个方面，图像捕获传感器710r(710l)和715r(715l)中的每一个是具有滤色器阵列的色彩传感器。该滤色器阵列是拜耳红、绿、绿、蓝(rggb)滤色器阵列。因此，这两个拜耳模式图像捕获传感器通过同一个光学器件观看同一个场景。这里，拜耳模式图像捕获传感器是包括拜耳滤色器阵列的单芯片传感器或单芯片的一部分。如以上提及的，共面的图像捕获传感器710r(710l)和715r(715l)具有共同前端光学结构和到每个传感器的大体上相同的光路长度。
当棱镜组件730r(730l)和反射单元540r(540l)被布置为使得拜耳模式图像捕获传感器710r(710l)和715r(715l)两者捕获的这些彩色图像是同一场景时，图像捕获传感器710r(710l)捕获的彩色图像与图像捕获传感器715r(715l)捕获的彩色图像具有相同的全分辨率。因此，在该场景中的空间中的每一个点由两个像素表示，其中这两个像素中的每一个具有不同的三色分量矢量。传感器组件720r(720l)以及因此图像捕获单元725r(725l)以六原色分量采集全分辨率图像，而没有光或空间分辨率的损失。
从中央控制器260中的双重图像增强模块240r(240l)到立体显示器251的每个像素输出的颜色分量矢量是从该像素的六原色分量导出的。这允许用例如针对每个像素的四元素矢量驱动立体显示器，而没有任何分辨率的损失。双重图像增强模块240r(240l)对这两个捕获的图像采样并且应用颜色校正矩阵来产生立体显示器251所要求的像素矢量。
发送到立体显示器251的颜色分量矢量可以具有多于三个的颜色分量，以便准确地表示该场景的光谱含量。在实际应用中，在颜色分量矢量(有时被称为颜色矢量)中使用的颜色分量的数量将匹配由该显示器所使用的颜色分量的数量。夏普公司已经展出了五色分量显示器。
在另一方面，应当注意的是，例如，当激发荧光时，该荧光可能在可见光谱中。例如，荧光素可以用490nm的蓝光激发并且发出主要在520至530nm范围的荧光。因此，在这个方面，阻断来自激发激光模块的反射照明的传输的颜色滤波器，在所说的490nm，被包括在涂覆的第一表面731r(731l)中。针对蓝色波长的陷波滤波器被配置为反射颜色分量b1并且传递其他蓝色波长，使得来自荧光素的荧光被传递到图像捕获传感器715r(715l)。针对红色和绿色分量的这些陷波滤波器和来自照明器的这些照明分量被选择为使得这些反射的颜色分量r1、b1以及g1被第一图像捕获传感器710r(710l)捕获。其余的颜色被递送到第二图像捕获传感器715r(715l)。注意的是，激发激光分量b1可以使第一图像捕获传感器710r(710l)的蓝色像素饱和，但这是可接受的，因为来自荧光素的荧光被第二图像捕获传感器715r(715l)捕获。
在另一方面，中央控制器260的双重图像增强模块240r(240l)中的颜色校正模块241r(241l)使用来自第一图像的三色像素以及来自第二图像的三色像素，从而产生用于夏普五色显示器的五色分量输出矢量，例如，产生的红、红分量、黄、绿、蓝(rr'ygb)颜色分量。颜色校正矩阵被设置到期望的从六元素采集颜色空间到显示器的五元素颜色空间的映射。
更具体地说，中央控制器260的双重图像增强模块240r(240l)中的颜色校正模块241r(241l)耦合到第一和第二图像捕获传感器710r(710l)和715r(715l)。照相机控制单元230r(230l)使第一图像捕获传感器710r(710l)捕获的第一图像去马赛克(demosaic)，并且使第二图像捕获传感器715r(715l)捕获的第二图像去马赛克。在这些去马赛克图像中的每一个像素具有三元素颜色矢量。这两个去马赛克图像由颜色校正模块241r(241l)接收。根据这两个去马赛克图像，这些三元素颜色矢量被结合，从而产生针对每个像素的n元素颜色分量矢量，其中n至少是三，并且在这个示例中n是六。根据对应像素的n元素颜色分量矢量，颜色校正模块241r(241l)中的颜色校正矩阵然后针对输出图像中的像素产生m元素颜色分量矢量。注意的是，当m为三时，也可以应用上述利用这两个捕获的图像来增强分辨率等的过程。
增强的颜色性能-白色宽带照明
在第二方面，白色宽带照明器710c(图7c)耦合到照明通道705(图7a)。在一个示例中，照明器710c使用具有椭圆形背反射器和带通滤波器涂层的氙灯710c1来产生具有很少红外成分的宽带白色照明光。氙灯的使用仅是说明性的而不旨在是限制性的。例如，可以使用高压汞弧灯、其他弧灯或其他宽带光源。
在这个方面，棱镜组件730r(730l)的涂覆的第一表面731r(731l)包括含有多个陷波滤波器的滤波器790f(图7f)。第一陷波滤波器791f反射接收到的光中的红色分量r的第一部分r1并且传输接收到的光中的红色分量r的第一部分r1的互补部分r1'。第二陷波滤波器792f反射接收到的光中的绿色分量g的第一部分g1并且传输接收到的光中的绿色分量g的第一部分g1的互补部分g1'。第三陷波滤波器793f反射接收到的光中的蓝色分量b的第一部分b1并且传输接收到的光中的蓝色分量b的第一部分b1的互补部分b1'。使用三个陷波滤波器是为了容易论述，而不旨在限制于这三个分开的滤波器。这三个分开的陷波滤波器可以被看作是具有在此描述的反射、传输特性的单个多陷波滤波器。
因此，涂覆的第一表面731r(731l)将接收到的光中的红色分量r1、接收到的光中的绿色分量g1以及接收到的光中的蓝色分量b1反射到第二表面732r(732l)上。涂覆表面732r(732l)将从涂覆的第一表面731r(731l)接收的所有波长反射到图像捕获传感器710r(710l)上。
涂覆的第一表面731r(731l)将接收到的光中的红色分量r1'、接收到的光中的绿色分量g1'以及接收到的光中的蓝色分量b1'传输到反射单元540r(540l)中的第三表面541r(541l)。涂覆表面541r(541l)将从涂覆的第一表面731r(731l)接收的所有波长反射到图像捕获传感器715r(715l)上。
在这个方面，图像捕获传感器710r(710l)和715r(715l)中的每一个是具有滤色器阵列的色彩传感器。该滤色器阵列是拜耳rggb滤色器阵列。因此，这两个拜耳模式图像捕获传感器通过同一个光学器件观看同一个场景。这里，拜耳模式图像捕获传感器是包括拜耳滤色器阵列的单芯片传感器或单芯片的一部分。如以上提及的，共面的图像捕获传感器710r(710l)和715r(715l)具有共同前端光学结构和到每个传感器的大体上相同的光路长度。
当棱镜组件730r(730l)和反射单元540r(540l)被布置为使得拜耳模式图像捕获传感器710r(710l)和715r(715l)两者捕获的这些彩色图像是同一场景时，图像捕获传感器710r(710l)捕获的彩色图像与图像捕获传感器715r(715l)捕获的彩色图像具有相同的全分辨率。因此，在该场景中的空间中的每一个点由两个像素表示，其中这两个像素中的每一个具有不同的三色分量矢量。因此，传感器组件720r(720l)以每像素六原色分量采集全分辨率图像，而没有由于陷波滤波器所致的光损失，其中三个原色分量来自第一捕获的图像，三个原色分量来自第二捕获的图像。
从中央控制器260中的双重图像增强模块240r(240l)到立体显示器251的每个输出像素的颜色分量矢量是从这个像素的六原色分量导出的。这允许用例如针对每个像素的四元素颜色矢量驱动立体显示器，而没有任何分辨率的损失。双重图像增强模块240r(240l)对这两个图像采样并且应用颜色校正矩阵来产生立体显示器251所要求的像素矢量。
在这个方面，在涂覆的第一表面731r(731l)上的涂层(陷波滤波器)提供了选择色分离的灵活性。当然，涂覆的第一表面731r(731l)的色分离被乘以该像素rggb模式。因此，例如，如果涂覆的第一表面731r(731l)分出黄色，预期的是这将激发绿色像素和红色像素两者，然后这将在成像管道的颜色校正矩阵过程中被恢复。类似地，涂覆的第一表面可以被配置为例如传递荧光光谱中的蓝色波长并且反射所有其他的蓝色波长。
如以上所述的，颜色校正矩阵作用于每像素的六元素矢量(在被图像捕获传感器710r(710l)捕获的第一图像中的相应像素的三色分量矢量加上来自被图像捕获传感器715r(715l)捕获的第二图像的相应像素的三色分量矢量)并且产生具有在该显示器中的颜色分量的数量的输出颜色分量矢量——对于“正常”lcd，这是红绿蓝(rgb)颜色分量，而对于夏普五色显示器，这是红、红分量、红色互补部分(redcomplement)、黄、绿、蓝(rr’ygb)颜色分量。
更具体地说，中央控制器260的双重图像增强模块240r(240l)中的颜色校正模块241r(241l)耦合到第一和第二图像捕获传感器710r(710l)和715r(715l)。照相机控制单元230r(230l)将第一图像捕获传感器710r(710l)捕获的第一图像去马赛克并且针对每个像素产生n元素颜色矢量——n通常是三。照相机控制单元230r(230l)类似地将第二图像捕获传感器715r(715l)捕获的第二图像去马赛克成为多个像素，其中每个像素由第二n元素颜色矢量表示。然后双重图像增强模块240r(240l)通过颜色校正模块241r(241l)将这两个n元素颜色矢量处理为2n(通常是六个)颜色矢量，从而为每个像素生成具有期望数量的颜色分量的输出颜色矢量。用于典型的液晶显示器的输出颜色矢量将具有三个颜色分量。对于具有五个原色的夏普显示器，输出颜色矢量将是五元素颜色矢量。将基于优化来选择具体的颜色校正矩阵，以实现就某种度量而言的最佳颜色性能。例如，该度量可以是与由人类观察者针对某一组组织类型用氙照明看见的颜色相匹配。
增强的颜色性能—白色宽带照明和增强的景深
在第三方面，照明器710c(图7c)耦合到照明通道705(图7a)。照明器710c与以上描述的相同，因此在此不重复该描述。因此，该场景由来自照明器710c的宽带白光照明。
如以上提及的，来自组织703的反射光传递通过透镜元件704r(704l)和光阑570r(570l)。在这个方面，有关图7a的其他方面而言，透镜元件704r(704l)不同于以上考虑的透镜元件。在另一方面，透镜元件704r(704l)被设计为矫正纵向色差，使得不同的颜色分量大致聚焦在同一平面上。在这个方面，透镜元件704r(704l)并不矫正纵向色差。相反，透镜元件704r(704l)被设计为将不同波长的光聚焦在距离透镜的不同距离处，即，被设计为具有显著且受控量的纵向颜色。例如，在透镜组件401b(图4b)中的透镜组482和484被设计为具有显著且受控量的纵向颜色。这样的透镜组对于本领域技术人员是已知的，因此在此没有更仔细地考虑。
在这个方面，棱镜组件730r(730l)的涂覆的第一表面731r(731l)包括前面描述的滤波器790f(图7f)。为了避免重复，滤波器790f的以上描述在此不复述。
因此，涂覆的第一表面731r(731l)将该接收到的光中的红色分量rl、该接收到的光中的绿色分量gl以及该接收到的光中的蓝色分量bl反射到第二表面732r(732l)上。涂覆表面732r(732l)将从涂覆的第一表面731r(731l)接收的所有波长反射到图像捕获传感器710r(710l)上。
涂覆的第一表面731r(731l)将该接收到的光中的红色分量rl'、该接收到的光中的绿色分量gl'以及该接收到的光中的蓝色分量bl'传输到反射单元540r(540l)中的第三表面541r(541l)。涂覆表面541r(541l)将从涂覆的第一表面731r(731l)接收的所有波长反射到图像捕获传感器715r(715l)上。
再次，在这个方面，图像捕获传感器710r(710l)和715r(715l)中的每一个是具有滤色器阵列的色彩传感器。该滤色器阵列是拜耳rggb滤色器阵列。因此，这两个拜耳模式图像捕获传感器通过同一个光学器件观看同一个场景。这里，拜耳模式图像捕获传感器是包括拜耳滤色器阵列的单芯片传感器或单芯片的一部分。如以上提及的，共面的图像捕获传感器710r(710l)和715r(715l)具有共同前端光学结构和到每个传感器的大体上相同的光路长度。
当棱镜组件730r(730l)和反射单元540r(540l)被布置为使得拜耳模式图像捕获传感器710r(710l)和715r(715l)两者捕获的这些彩色图像是同一场景时，图像捕获传感器710r(710l)捕获的彩色图像与图像捕获传感器715r(715l)捕获的彩色图像具有相同的全分辨率。因此，该场景中的空间中的每一个点由两个像素表示，其中这两个像素中的每一个具有不同的三元素矢量。因此，对于空间中的每一个点，传感器组件720r(720l)具有以六原色分量采集的全分辨率图像——三个来自第一捕获的图像以及三个来自第二捕获的图像，而没有由于陷波滤波器所致的光损失。然而，由于该纵向颜色，这些捕获的图像在采集的六原色中的每一个具有不同量的模糊。
因此，在这个方面，双重图像增强模块240r(240l)包括针对该第一和第二图像中的每一个的数字滤波器内核。该数字滤波器内核基于这些已知的纵向色差来处理该捕获的图像，从而增强该图像的清晰度和聚焦，即，产生第三和第四图像。该第三和第四图像被去马赛克。得到的去马赛克的第三图像和第四图像各自可以被聚焦在与该透镜组件的一距离范围处，从而提供具有比来自常规的透镜设计(将所有的颜色分量聚焦)的景深更大的景深的图像。数字滤波器内核对于本领域技术人员是已知的。这种方法对于具有波长内的平滑反射曲线的表面起到很好的作用，对于大多数组织来说是这个情况。
针对从中央控制器260中的双重图像增强模块240r(240l)到立体显示器251的每个输出像素的矢量是从这些去马赛克的第三图像和第四图像中的像素的六原色分量导出的。双重图像增强模块240r(240l)对该数字滤波器内核产生的第三和第四图像采样并且应用颜色校正矩阵来产生立体显示器251所要求的像素矢量。得到的结合图像具有的景深比从常规的透镜系统获得的图像的景深可能大三倍。
增强的颜色性能—三色分量照明和荧光
在第四方面，照明器710d(图7d)耦合到照明通道705(图7a)。照明器710d包括三个激光照明源710d1至710d3，它们分别产生红色分量rl、绿色分量gl和蓝色分量bl。有时候在此的三个激光照明源710d1至710d3被称为三个激光照明模块。具有多个不同的照明源的照明器的配置(一个反射镜用于照明源710d1以及二向色镜用于照明源710d2和710d3)是已知的。对于激光照明源，红色分量rl、绿色分量gl以及蓝色分量bl的波长典型地是2至5纳米(nm)宽，而不是来自常规的基于发光二极管的照明器的每个颜色分量大约60nm。
来自红色、绿色和蓝色激光器的光反射离开组织703。这些反射的颜色分量rl、颜色分量gl以及颜色分量bl的强度被该组织的反射功能调制。另外，来自照明器710d、组织703的这三种反射的颜色分量可以发射其他光。例如，来自这些激光器之一的光可以激发荧光。参见例如光谱795g(图7g)。这三个峰是被组织703反射的来自照明器710d的红色、绿色以及蓝色激光器的光。在该光谱的红色区域中的较小且较宽的峰是荧光。光谱795g被提供为辅助进入内窥镜702的光的可视化并且不代表任何实际数据。
传感器组件720r(720l)使得彩色图像能够被第一图像捕获传感器710r(710l)捕获并且使得所有与该彩色图像不相关的光被再导向到第二图像捕获传感器715l(715r)。因此，如以下更全面地解释的，传感器组件720r(720l)也使得能够在可见光或近红外线中以几乎任何波长实时荧光成像，并且使得自然组织荧光能够成像。
可以用一种窄带源(像照明器710e中的激光器710e4)激发荧光标记物，该窄带源发射在近红外光谱中的波长。该荧光发射光谱，然而，具有一定范围的波长。该荧光发射光谱的形状并不显著地依赖于处于针对该荧光的激发波长范围中的激发波长。
因此，在一方面，荧光是通过来自在照明器710e中的激光器模块710e4的光来触发的。作为一个示例，使用525nm的激光激发了来自梅达雷克斯公司(medarex,inc.)的抗体药物。在另一方面，除了产生红色分量rl、绿色分量gl以及蓝色分量bl的这三个激光器模块之外，照明器710d还包括一个或多个光模块。另外的光模块的数量和类型是基于针对一种或多种感兴趣的荧光的荧光激发波长来选择的。
针对组合光源210选择的特殊荧光激发源取决于所使用的一种或多种荧光团。在体内使用的各种fda批准的荧光染料的激发与发射最大值呈现在表1中。
表1
靛胭脂
表2呈现了在生物系统中使用的常见蛋白荧光团的示例。
表2
**针对缀合物的近似激发和荧光发射最大值。
本领域技术人员应当理解的是，荧光团可以结合到药剂上，该药剂进而结合到病人的特定组织上。当特定的荧光团被选择时，如果在照明器710d中的这三个可见颜色分量激光器模块之一没有提供必要的激发波长，则可以将另一个激光器模块710e4添加到照明器710d而获得照明器710e，该照明器710e提供具有针对这种荧光团的激发最大波长的光。因此，给定所使用的感兴趣的该荧光团或这些荧光团以及不同荧光团的数量，适当的光源可以被包括在照明器710d中，以便提供该场景的彩色图像的照明并且激发荧光。
在表1和表2中的以上示例是仅是说明性的，而不旨在将这个方面限制于呈现的特定组织。鉴于本披露，可以选择该组织的替代成像特征，然后可以基于所利用的荧光来选择适当的光源。
在这个方面，棱镜组件730r(730l)的涂覆的第一表面731r(731l)，即，该分束器，包括含有多个陷波滤波器的滤波器790h(图7h)。第一陷波滤波器791h反射该接收到的光中的红色分量rl并且传输该接收到的光中的红色分量r的其他波长。第二陷波滤波器792h反射该接收到的光中的绿色分量gl并且传输该接收到的光中的绿色分量g的其他波长。第三陷波滤波器793h反射该接收到的光中的蓝色分量bl并且传输该接收到的光中的蓝色分量b的其他波长。使用三个陷波滤波器是为了容易论述并且并不旨在限制于这三个分开的滤波器。这三个分开的陷波滤波器可以被看作是具有在此描述的反射、传输特性的单个多陷波滤波器。
因此，涂覆的第一表面731r(731l)将该接收到的光中的红色分量rl、该接收到的光中的绿色分量gl以及该接收到的光中的蓝色分量bl反射到第二表面732r(732l)上。第二表面732r(732l)将从涂覆表面731r(731l)接收的所有波长反射到图像捕获传感器710r(710l)上。
涂覆的第一表面731r(731l)将除了该接收到的光中的红色分量rl之外的红光、除了该接收到的光中的绿色分量gl之外的绿光以及除了该接收到的光中的蓝色分量bl之外的蓝光传输到反射单元540r(540l)中的第三表面541r(541l)。第三表面541r(541l)将从涂覆表面731r(731l)接收的所有波长反射到图像捕获传感器715r(715l)上。
因此，图像捕获传感器710r(710l)采集该激光照明的场景的rgb图像。这是彩色图像。所有其余的光被反射到图像捕获传感器715r(715l)上。这种光必须来自一种不同于该照明的来源。例如，如果存在自然组织荧光，则该荧光由图像捕获传感器715r(715l)捕获。如果图像捕获传感器715r(715l)是彩色图像捕获传感器，则该荧光可以具有任何彩色，并且该荧光以彩色成像在图像捕获传感器715r(715l)上。由于在涂覆的第一表面731r(731l)上的陷波滤波器，可能存在荧光方面的轻度损失。在这个方面，图像捕获传感器710r(710l)是具有滤色器阵列的色彩传感器。该滤色器阵列是拜耳rggb滤色器阵列。
针对图像捕获传感器715r(715l)选择的图像捕获传感器的类型取决于图像捕获传感器715r(715l)捕获的其他光的特性。图像捕获传感器715r(715l)的增益和其他参数可以与图像捕获传感器710r(710l)无关，使得图像捕获传感器715r(715l)采集可能的最佳图像。
如果单个荧光谱是感兴趣的，或如果在不同的荧光谱之间的区分是不感兴趣的，则图像捕获传感器715r(715l)可以是单色传感器。替代地，如果一个以上颜色的荧光谱是感兴趣的，例如，在红色波长中的荧光谱和在绿色波长中的荧光谱，则图像捕获传感器715r(715l)可以是具有拜耳滤色器阵列的彩色图像捕获传感器。
对于单色图像捕获传感器，在分辨率和聚光方面有益处。彩色图像捕获传感器给出关于该接收到的光的一个波长或多个波长的更多信息。
不论图像捕获传感器715r(715l)的实施方式如何，这两个图像捕获传感器通过同一个光学器件观看同一个场景。如以上提及的，共面的图像捕获传感器710r(710l)和715r(715l)具有共同前端光学结构和到每个传感器的大体上相同的光路长度。
行进到图像捕获传感器710r(710l)的并且不是反射的激光照明的任何少量的光相对于反射的激光照明是少量的。假定图像捕获传感器710r(710l)和715r(715l)捕获的图像的宽光谱响应和良好配准，使用图像捕获传感器715r(715l)捕获的图像，双重图像增强模块240r(240l)能够矫正图像捕获传感器710r(710l)捕获的图像。
如果荧光是由来自不同于照明器710d中的照明模块(产生具有波长rl、gl、bl的光)的照明模块的激发波长激发的，则在图像捕获单元成像路径中，例如，在光阑570r(570l)和传感器组件720l(720r)之间，需要一个激发阻断陷波滤波器。不论该荧光的激发波长如何，该荧光可以在可见光谱中并且被成像到图像捕获传感器715r(715l)上。如果需要，多个荧光团能够同时被成像，并且这些发射光谱在图像捕获传感器715r(715l)上激发不同的颜色。
双重增强模块240r(240l)的配置取决于第二图像捕获传感器715r(715l)是彩色图像捕获传感器还是单色图像捕获传感器。如果这两个图像捕获传感器都是色彩传感器，则ccu230r(230l)将这两个捕获的图像去马赛克，并且控制器260如以上描述地为输出图像中的每个像素产生n元素颜色分量矢量。该n元素颜色分量矢量中的三个颜色分量代表彩色图像，而其余的颜色分量代表荧光。如果第二图像捕获传感器是单色的，则对第二捕获的图像去马赛克是不必要的。
因此，不论第二图像捕获传感器715r(715l)的实施方式如何，控制器260被配置为根据第一图像中的对应像素的颜色分量矢量以及第二图像中的对应像素的颜色分量矢量为输出图像中的像素产生至少四元素颜色分量矢量。该四元素颜色分量矢量中的三个元素用于可见光彩色图像，而该四元素颜色分量矢量中的第四元素用于荧光图像。
在图7a以及关于图7a的以上描述的每一个示例的方面中，立体通道中的这些图像捕获传感器是共面的。这仅是说明性的而并不旨在是限制性的。例如，这些图像捕获传感器中的第一个可以具有处于第一平面的顶部传感器表面，并且这些图像捕获传感器中的第二个可以具有处于第二平面的顶部传感器表面。第一和第二平面是彼此平行的并分开一已知的距离(参见图9)。在该分束器与该反射单元中的反射表面之间的间距被调整为补偿该已知的距离，使得到第一图像捕获传感器的第一光路长度大致等于到第二图像捕获传感器的第二光路长度。因此，以上描述的图7a的这些方面中的每一个直接适用于这种结构，因为这两个光路长度保持大致相等。
延伸的景深
在外科手术内窥镜中，人们愿意对外科医师提供尽可能清晰和明亮的图像。这需要具有最大可能孔径的透镜设计。较大的孔径形成更清晰的图像(在该传感器的局限性之内)并且允许更多光通过而导致更明亮的图像(较好的信噪比)。然而，因为较大的孔径导致较浅的景深，这存在着权衡。外科医师宁愿喜欢具有较大景深的图像，以避免当外科医师在距离该照相机不同的距离处看东西时必须控制该成像系统的焦距。因此，外科医师愿意喜欢具有大孔径的清晰度和亮度以及很大改进的景深。为了实现这个目标，图像捕获单元825l和825r(图8a)中的每一个捕获具有不同焦距的组织803的图像。双重图像增强模块240r、240l(图2)处理这些捕获的图像并且向外科医师提供以前不可得到的景深能力。
例如，在一方面，传感器组件820r(820l)捕获的第一图像881(图8b)具有第一焦距。传感器组件820r(820l)捕获的第二图像882(图8c)具有第二焦距。在图像881中，在该图像的中心中的这些特征是焦点对准的，如由这些暗色区分线表示的。在图像881的左侧和右侧中的特征离图像捕获单元825r(825l)较远并且是离焦的(outoffocus)，如由交叉影线表示的。在图像882中，在该图像的中心中的这些特征是离焦的，如由交叉影线表示的。在图像882的左侧和右侧中的特征是焦点对准的，如由这些暗色区分线表示的。
如以下更全面地解释的，图像881和882的焦点对准部分被用来产生发送到立体显示器251的复合的焦点对准的图像(图8d)。这提供了包含比在图像881和882任一者中得到的景深更好的景深的图像。这种方法的另一个益处是，来自图像881和882的信息连同清晰度度量被用来产生发送到立体显示器251以便显示的来自虚拟照相机的远景的图像。这允许外科医师从轻微不同的远景观察组织803，而不用在物理上移动内窥镜802。
图8a是具有图像捕获单元825l、825r和照明通道805的立体内窥镜802的远端的示意图，该通道提供来自照明器的光。如由箭头835指示的，远端方向朝向组织803并且近端方向远离组织803。
图像捕获单元825r、825l各自包括透镜组件801r、801l和传感器组件820r、820l。传感器组件820r、820l被定位为接收传递通过透镜组件801r、801l的光。在一方面，传感器组件820r、820l各自包括棱镜组件830r、830l，反射单元840r、840l以及共面的图像捕获传感器(810r、815r)、(810l，815l)。然而，展示在图9中的结构也可以在使用图8a的结构描述的这些方面中使用。立体内窥镜802有时被称为内窥镜802。
在以下说明中，描述了立体内窥镜802的右通道中的光路。由于内窥镜802的对称性，通过立体内窥镜802的左通道的光路等同于在右通道中的那些，因此在以下说明中，左通道参考号被包括在对右通道中的元件的描述之后的小括号之内。这表示该描述也适用于左通道中的对应元件。并且，所描述的成像处理是实时进行的，使得将连续的视频序列提供到显示器上。
来自组织803的光传递通过透镜组件801r(801l)中的透镜元件804r(804l)和光阑870r(570l)。透镜组件401b(图4b)中的这些元件是透镜元件804r(804l)的示例。传递通过透镜组件801r(801l)的光由图像捕获单元825l(825r)接收，然后进入棱镜组件830r。棱镜组件830r(830l)包括反射第一百分比的该接收到的光的分束器831r(831l)。分束器831r(831l)将第二百分比的该接收到的光传递通过分束器831r(831l)到反射单元840r(840l)。
在一方面，分束器831r(831l)被实施为涂覆的第一表面831r(831l)。涂覆的第一表面831r(831l)反射的光由第二表面832r(832l)接收，第二表面进而将该光导向(例如，反射)到第一图像捕获传感器810r(810l)上。表面832r(832l)可以是涂覆表面或全内反射表面。传输通过涂覆的第一表面831r(831l)的光被反射单元540r(540l)的第三表面541r(541l)接收，第三表面进而将该光导向(例如，反射)到第二图像捕获传感器815r(815l)上。
第二表面832r(832l)被定位为使得除了由涂覆的第一表面831r(831l)反射的光之外没有光投射到第二表面832r(832l)。在一方面，该光相对于涂覆表面831r(831l)的入射角小于45°。
在一方面，棱镜组件830r(830l)和反射单元840r(840l)被包括在棱状结构中，该棱状结构具有包括棱镜组件830r(830l)的五棱镜。在这个方面，该棱状结构等同于棱状结构460(图4b)，该棱状结构具有埋置的涂覆表面431b，该涂覆表面将该接收到的光分成第一和第二百分比。因此，棱状结构460的描述适用于在这个方面中使用的棱状结构。
在一方面，第一和第二百分比是大致相等的。在另一方面，第一和第二百分比是不同的。因此，棱镜组件830r(830l)包括将该接收到的光分成两个部分的分束器831r(831l)——(i)第一百分比的该接收到的光，有时被称为第一部分，以及(ii)第二百分比的该接收到的光，有时被称为第二部分。
图像捕获传感器810r(810l)和815r(815l)是共面的。在一方面，从光阑870r(870l)到涂覆的第一表面831r(831l)到第二表面832r(832l)到图像捕获传感器810r(810l)的第一光路长度是第一长度。从光阑870r(870l)通过涂覆的第一表面831r(831l)到组件840r(840l)中的第三表面841r(841l)到图像捕获传感器815r(815l)的第二光路长度是第二长度。第一长度和第二长度是不同的，即，不是大致相等的。再次，这些光路长度被定义为起始于光阑870r(870l)处是说明性的而并不旨在是限制性的。这些不相等的光路长度还可以不同地定义，例如相对于棱镜组件830r(830l)的该接收到的光进入棱镜组件830r(830l)所通过的远端面定义，相对于透镜组件801r(801l)中的第一元件定义，或相对于涂覆的第一表面831r(831l)定义。在另一方面，这些不同的光路长度可以用在这两个图像传感器区域上的具有不同折射指数的玻璃板或其他相似的手段来实现。
因此，共面的图像捕获传感器810r(810l)和815r(815l)具有通过透镜组件801r(801l)中的前端光学结构的共同光路长度以及不同的到传感器组件820r(820l)中的每个传感器的光路长度。第一图像捕获传感器810r(810l)捕获来自传感器组件820r(820l)接收的光的第一部分的图像。第二图像捕获传感器815r(815l)捕获来自传感器组件820r(820l)接收的光的第二部分的图像。
在一方面，图像捕获传感器810r(810l)和815r(815l)中的每一个是具有滤色器阵列的色彩传感器。在另一方面，将该滤色器阵列从这些色彩传感器之一移除，并且该传感器起单色传感器的作用。当使用单色传感器时，如果这两个图像的焦距不是太不相同的话，例如，这两个图像被聚焦在这两个图像的清晰度曲线885、886相交处的点的附近(参见图8e)，则该单色传感器捕获的图像的清晰度被转移到该彩色图像。
在一方面，棱镜组件830r(830l)的涂覆的第一表面831r(831l)被配置为反射并且被配置为传输由棱镜组件830r(830l)接收的光的大致相等的部分，即，第一和第二百分比是大致相等的。因此，在这个方面，分束器831r是以上描述的平衡分束器。在这个示例中，图像捕获传感器810r(810l)和815r(815l)中的每一个是具有滤色器阵列的色彩传感器。该滤色器阵列是一种拜耳滤色器阵列。因此，这两个拜耳模式图像捕获传感器810r(810l)和815r(815l)通过同一个光学器件观看同一个场景。这里，拜耳模式图像捕获传感器是包括拜耳滤色器阵列的单芯片传感器或单芯片的一部分。如以上提及的，共面的图像捕获传感器810r(810l)和815r(815l)具有共同前端光学结构，但是到每个传感器的不同的光路长度。
行进到图像捕获传感器810r(810l)的光被捕获为第一图像，该第一图像聚焦在距离图像捕获单元825r(825l)的第一物距da处。参见例如图8b。行进到图像捕获传感器815r(815l)的光采取了略微更长的路径到达在815r(815l)处的传感器并且被捕获为第二图像，该第二图像聚焦在距离该图像捕获单元的第二物距db处。参见例如，图8c。距离db大于距离da。在路径长度方面的差是基于该前端光学设计，例如，透镜元件804r(804l)的焦距以及针对这两个捕获的图像中的每一个的最佳焦距的距离。
第一和第二图像被对齐并且通过同一个透镜元件804r(804l)。这两个图像的焦平面是不同的。这两个图像的景深也是不同的。聚焦在距离da处的图像，例如图像881，具有短的景深，而聚焦在距离db处的图像,例如图像882，具有更宽的景深。
如以上提及的，外科医师可以使用用户界面262使双重图像增强模块240r(240l)从这两个捕获的图像(图8b和8c)产生具有增强的景深的焦点对准的图像(图8d)。替代地，外科医师可以将这两个图像显示在显示器的两个平面上，因此在外科医师控制台显示器251(有时称为立体显示器251)中的适应与在外科手术部位处的外科手术适应匹配。最后，外科医师可以在具有一个焦距的第一图像与具有第二焦距的第二图像之间切换。
在一方面，双重图像增强模块240r(240l)从图像捕获传感器810r(810l)和815r(815l)捕获的这两个图像产生焦点对准的延伸景深图像。在第一方面，第一清晰度度量是针对在该第一图像中的一组像素(即，一个区块(tile))产生的，并且第二清晰度度量是针对在该第二图像中的对应一组像素产生的。比较这两个清晰度度量，以确定哪一个清晰度度量是较大的。具有最大清晰度度量的这组像素(或选定的像素或在该区块内的像素)被选择用于混合图像。双重图像增强模块240r(240l)按组单步调试(stepthrough)两个捕获的图像，并且选择这两个组之一，用于包含在该混合图像中，该混合图像比这两个捕获的图像在更大的景深上是焦点对准的。
图8e是针对图像捕获传感器810r(810l)捕获的图像的清晰度分布图885以及针对图像捕获传感器815r(815l)捕获的这些图像的清晰度分布图886的图示。该清晰度分布图是图像捕获传感器捕获的图像的清晰度对距该内窥镜的远端的距离的曲线。在一方面，清晰度分布图885和886是基于校准凭经验产生的，该校准是使用窥镜802和在距内窥镜802的远端的不同距离处的已知物体的多个采取的图像来进行的。
在一方面，分布图885和886被储存为存储器中的查找表。当内窥镜802被移动而没有移动图像捕获单元825r(825l)中的光学器件时，这些储存的清晰度分布图被双重图像增强模块240r(240l)用来确定是显示图像捕获传感器810r(810l)捕获的第一图像还是显示图像捕获传感器815r(815l)捕获的第二图像。使用本领域技术人员已知的常规技术，双重图像增强模块240r(240l)产生针对该第一和第二图像中的每一个的清晰度度量。双重图像增强模块240r(240l)使用清晰度分布图885和886以及这些清晰度度量来为每一个图像确定内窥镜802的远端与组织之间的距离。
例如，基于清晰度分布图885，如果第一图像具有0.5的清晰度度量，则到组织803的距离da是大约42毫米(mm)或大约27毫米(mm)。基于清晰度分布图886，如果第二图像具有大约0.43的清晰度度量，则到组织803的距离db是大约42毫米(mm)。替代地，如果第二图像具有大约0.08的清晰度度量，则该组织距离是大约27毫米(mm)。注意的是，对于基于该清晰度度量的组织深度的清晰度分布图885是模糊的；该组织深度被第二曲线886消除歧义(disambiguated)。由于两个图像基本是同时获得的，这种消除歧义不因时间效应而偏斜(skewed)。当内窥镜802被移动并且从图像捕获单元到组织的距离变化时，双重图像增强模块240r(240l)使用在这两个图像之间的相对清晰度度量以及这些曲线的预先校准(prioricalibration)来确定显示这两个图像中的哪一个。通过中央控制器260知道该内窥镜的远端的位置。
如果内窥镜802移动靠近组织803，第一捕获的图像通过双重图像增强模块240r(240l)被发送到显示器251。如果内窥镜802移动离开组织803，则双重图像增强模块240r(240l)比较内窥镜802的远端距组织803的距离与在清晰度分布图885和886相交处的距离(称为分布图相交距离)。如果内窥镜802的远端距组织803的距离小于该分布图相交距离，则第一捕获的图像被传输到显示器251。如果内窥镜802的远端距组织803的距离大于该分布图相交距离，则第二捕获的图像被传输到显示器251。因此，对于在前述段落中的清晰度度量，当内窥镜802的远端距组织803的距离小于45mm时，第一图像将被呈现给外科医师。当内窥镜802的远端距组织803的距离大于45mm时，第二图像将被呈现给外科医师。因此，当内窥镜802被移动时，外科医师将被提供适当的图像，而不必移动图像捕获单元825r(825l)中的光学器件。
另外，这两个图像中的哪一个被呈现给外科医师的决定可以仅基于相对清晰度度量来确定；组织深度的计算是没有必要的。呈现在立体观察仪(stereoviewer)的左和右眼中的图像对将保持一致，并且在决定使用第一或第二图像的过程中清晰度度量比较可以使用来自针对该左眼捕获的图像对以及针对该右眼捕获的一对图像的数据。一般而言，如果切换所呈现的全部图像的焦距，则将针对该右眼和左眼两者来选择第一图像，或者将针对该右眼和左眼来选择第二图像。
在另一方面，捕获的这两个图像和清晰度分布图885、886被用来产生深度图。清晰度分布图885被分成清晰度分布图886，以产生清晰度度量对距离的通道清晰度分布图，例如，在给定距离处的分布图886的值除以在这个给定距离处的分布图885的值而获得针对该给定距离的清晰度度量。可以通过使用滑动区块产生针对该全部图像的深度图来计算这个清晰度度量。当然，这个信息可以与更多的传统立体匹配算法结合以产生更好地调整的深度图。
在一方面，清晰度分布图885和886是基于校准凭经验产生的，该校准是使用窥镜802和在距内窥镜802的远端的不同距离处的已知物体的多个采取的图像来进行的。获得针对图像捕获单元825r以及针对图像捕获单元825l两者的清晰度分布图。通道清晰度分布图是针对左通道和右通道中的每一个产生的。在一方面，这些左和右通道清晰度分布图被保存为在存储器899中的查找表(图8f)。
回忆一下，第一捕获的图像中的这些像素与第二捕获的图像中的这些像素之间实质上存在着一一对应。在一些情况下，建立一一对应可能需要校准和轻微图像变形或基于软件的在这些图像之间的配准。使用本领域技术人员已知的常规技术，双重图像增强模块240r(240l)产生针对第一和第二图像中的每一个中的对应像素周围的区块或组的清晰度度量。在第一捕获的图像中针对该像素、或在该像素周围的一组像素的清晰度度量被分成在第二捕获的图像中的针对该对应像素、或在该对应像素周围的对应一组像素的清晰度度量，从而产生针对这些像素的通道清晰度度量。针对这些像素的通道清晰度度量用来定位在该通道清晰度分布图上的点。对应于在该通道清晰度分布图上的这个点的距离是与该像素的(x，y)位置相关的深度。进行针对在这些捕获的图像中的每个像素的这个过程产生针对这些捕获的图像的深度图。
在一方面，该深度图用来产生距离远景的场景的组织803视图，该远景不同于内窥镜802的远景，即，不同于虚拟照相机视点的远景。中央控制器260使用三维虚拟化模块890(图8f)来产生针对这些虚拟照相机视点的立体图像对。
三维虚拟化模块890使用捕获在内窥镜802的右立体通道中的第一和第二图像，并且产生针对经由该右通道观看的场景的第一通道深度图。类似地，三维虚拟化模块890使用捕获在内窥镜802的左立体通道中的第一和第二图像，并且产生针对经由该左通道观看的场景的第二通道深度图。来自这些图像中的立体匹配的另外的信息也可以用来提高该结合的深度图的稳定性和准确性。该场景的三维表面是使用第一和第二通道深度图产生的，并且这四个捕获的图像的最佳聚焦部分被投影到该三维表面上并被纹理化到其上，以产生纹理化的三维图像表面。
当外科医师使用用户界面262输入视点时，即，虚拟照相机视点，双重图像增强模块240r使用针对该右通道的通道深度图和该纹理化的三维图像表面来产生针对来自该虚拟照相机视点的右通道的图像。类似地，双重图像增强模块240l使用针对该左通道的通道深度图以及该纹理化的三维图像表面来产生针对来自该虚拟照相机视点的左通道的图像。这两个图像被发送到立体显示器251，并且外科医师被提供虚拟的三维图像，而不用将内窥镜802移动到该虚拟照相机视点。
更确切地说，3d虚拟化模块895对每个通道执行。这可以并行地或依次地完成，这取决于中央控制器260中可用的存储器和处理能力。
在针对右通道的获取图像过程891中，在图像捕获传感器810r和815r中捕获的第一和第二图像被获取并且提供至产生深度图过程892(有时称为过程892)。过程892针对多组像素(例如在这两个图像中的多个区块)重复执行该同样的过程。
在针对像素(x,y)的过程892中，包括像素(x,y)的一组像素选自在右通道中的第一和第二图像中的每一个。这里，x是该像素的x坐标并且y是该像素的y坐标。例如，该组像素可以是五像素乘以五像素区块，其中像素(x,y)在该区块的中心。产生了针对来自第一图像的该像素区块的第一清晰度度量，并且产生了针对来自第二图像的同一像素区块的第二清晰度度量。第二清晰度度量除以第一清晰度度量产生通道清晰度度量。使用在存储器899中的右通道清晰度分布图获得对应于该通道清晰度度量的距离z。距离z被指定给像素(x,y)。因此，在右通道深度图中，该像素表示为像素(x,y,zxy)。
下一步，针对像素(x+l,y)重复这个过程，并且在该深度图中的像素是像素(x+l,y,z(x+1)y)。因此，用于确定针对像素(x,y)的共同区块清晰度度量的这些像素中的一些也用于确定针对像素(x+l,y)的共同区块清晰度度量。针对在一行像素中的每个像素重复这个过程，然后增加y索引，并且针对在下一行像素中的每个像素重复该过程。对于不被完整像素区块围绕的场景的边界区域中的像素，假定了对称性，并且在一方面在该区块中可用的像素的这些值被用来产生针对丢失像素的值。
当处理了所有行像素时，已经产生了右通道深度图，其中在该场景中的每个像素经由该右通道观察。每个像素具有一个在x维中的值、一个在y维中的值以及一个在z维中的深度。在一方面，该右通道深度图被储存在存储器895中。
在该右通道深度图中的这些深度是平均值，这些值是该组像素的大小的函数。较大的一组像素降低了噪声，但是由于对该组求平均，随着该组变得更大，丢失了在z维中的细节。因此，该组的大小是凭经验确定的，以便将该噪声降低到可接受水平，同时保留在这些深度值中的期望的特异性。并且，针对在区块的中心产生该深度的该像素的布局仅是说明性的并且并不旨在限制于这个特定的布局。
通过产生深度图过程892，针对该左通道执行相同的过程。当完成了针对右和左通道两者的处理时，存储器895包括右通道深度图和左通道深度图。这些左和右通道深度图提供了针对内窥镜802的视点的该场景的深度映射。
在中央控制器260中的产生3d表面过程893使用左和右通道深度图来产生该场景的三维表面。使用两个深度图来产生三维深度图表面对于本领域技术人员是已知的，因此在此不进一步考虑。
在产生该场景的三维表面之后，投影与纹理化映射图像过程894将在右通道中的两个采集的图像的最清晰部分以及在左通道中的两个采集的图像的最清晰部分投影并且纹理映射返回到该三维深度图表面上，以产生纹理化的三维图像表面(有时称为纹理化图像表面)。使用多个捕获的图像和三维表面进行投影和纹理化以产生纹理化的图像表面对于本领域技术人员是已知的，因此在此不进一步考虑。
使用该纹理化的图像表面以及这两个通道深度图，可以产生针对来自虚拟照相机视点的立体图像对的图像。在这个方面，用户界面262允许外科医师指定外科医师希望从其观察当前场景的虚拟照相机视点，例如，外科医师希望从其观察当前场景的不同的远景。
因此，接收虚拟照相机视点过程897接收来自用户界面262的虚拟照相机视点并且将虚拟照相机视点提供至产生图像过程896。产生图像过程896使用来自深度图895的右通道深度图、该纹理化的图像表面以及该虚拟照相机视点来产生来自该虚拟照相机视点的虚拟右通道图像。类似地，产生图像过程896使用来自深度图895的左通道深度图、该纹理化的图像表面以及该虚拟照相机视点来产生来自该虚拟照相机视点的虚拟左通道图像。使用深度图和纹理化图像表面产生针对虚拟照相机视点的虚拟图像对于本领域技术人员是已知的，因此没有更仔细地考虑。
在产生针对虚拟照相机视点的左和右通道虚拟图像之后，传输图像过程898将这两个虚拟图像发送至用于显示给外科医师的立体显示器251。因此，不用移动内窥镜802，外科医师就能够从不同的视点(即，虚拟照相机视点)观察该场景。当然，从极度不同于内窥镜802的视点的一个视点观察该场景并不必然导致高质量图像。然而，针对内窥镜尖端附近的虚拟照相机点的图像具有适当的质量。
这种方法还可以用于为在一个手术室中的其他参与者产生图像。例如，在病人附近的手术室工作人员有可能观察在非立体显示单元上例如在电视屏幕或监护仪上的手术操作。产生来自虚拟照相机位置的图像的能力使得该场景能够以这样的方式呈现，以至于在这个显示器上给予手术室工作人员深度感。
这可以通过实时呈现来自虚拟照相机位置的图像序列来完成，这些虚拟照相机位置从实际的外科医师右眼位置扫描到实际的外科医师左眼位置，然后返回，即，这些虚拟照相机位置在两只眼睛位置之间的眼间距上方扫描。该虚拟照相机视点的来回扫描产生来自多个虚拟照相机视点的一系列场景图像。确切地说，在每个时间步，产生并呈现了来自不同的虚拟照相机视点的图像。
在一方面，实际右眼位置和实际左眼位置，例如，是指立体观察仪的左眼位置和右眼位置，该立体观察仪是外科医师控制台的一部分。该左眼位置和右眼位置以眼间距分开。
通过虚拟照相机位置的随时间的扫描所产生的这些图像的显示将小的来回头部运动的外观给予在显示器上，即，这些显示的图像提供了该场景的轻微来回摇摆。这是由人类视觉系统使用的许多深度提示之一，并且对手术室工作人员提供了场景深度感，而不需要使用立体显示器。另外，这具有的优点是，该图像不依赖手术室工作人员的取向而将深度传达至该显示器，并且不需要任何特殊的另外的设备。也可以通过将这些捕获的图像考虑为光场的样本并且使用基于图像的绘制技术来产生新的虚拟照相机视图而产生这些虚拟照相机图像。
在刚才描述的这个方面，针对虚拟照相机视点的立体图像是使用来自立体内窥镜802的图像产生的。在另一方面，针对该虚拟照相机视点的立体图像是使用来自单像内窥镜(即，仅具有立体内窥镜802的右通道的一种内窥镜)的图像对产生的。
在这个方面，3d虚拟化模块890针对这两个捕获的图像执行过程891至894，以产生三维图像的第一图像。为了产生三维图像的第二图像，产生图像过程896以适当眼距从视点产生虚像，使得当第一图像和该虚像被看作是立体图像对时，外科医师感知到一种三维图像。
当经由该单像内窥镜观察的该场景中没有前景物体的清晰边缘时，这种方法足以产生针对虚拟照相机视点的该场景的立体视图。典型地，在外科手术部位的场景中，该场景是平滑的，没有清晰边缘，因此这个过程产生可用的立体视图。如果在该场景中有外科手术器械，可能在该外科手术器械的后面的立体视图中有孔，但是典型地这个区域对外科医师是不感兴趣的。具有在该外科手术器械的后面的孔的立体视图提供了外科医师所需要的信息，因此是可接受的。
在以上这些示例中，分束器831r(831l)被配置为平衡分束器。然而，在另一方面，以上这些示例使用被配置为利用这样一个事实的分束器831r(831l)，即外科手术部位的照明典型地用一种光导(以上称为照明通道，是该内窥镜的一部分)来实现。因此，该照明通道(illumination)被附接到内窥镜的顶端并且与之一同行进。结果，当内窥镜顶端接近组织表面时，该图像相比于当该组织远离时明亮得多。在这个方面，涂覆的第一表面831r(831l)被配置为反射和传输该接收到的光的不同部分，即，以上定义的第一和第二百分比是不同的。
分束器831r(831l)反射该接收到的光的m％并且传递该接收到的光的n％，其中m％不同于n％。这里，m和n是正数。在一方面，m％加n％等于大约百分之百。由于光损失以及由于图像捕获单元825r(825l)的不同部分的容差，这种相等可能不是精确的。棱镜组件830r(830l)的其他方面与以上所述相同。传感器组件820r(820l)捕获的这些图像的处理等同于以上对于该平衡分束器所描述的，因此不再重复。
在以上这些示例中，这些图像捕获传感器是共面的。然而，应当解释的是，在一些方面，这些图像捕获传感器可以处于分开一已知的距离的平行平面中。图9是具有图像捕获单元的通道的一部分的示意图，该图像捕获单元具有这样的图像捕获传感器。图9的结构可以用于在此描述的任何这些方面和示例中，因此对于这种结构的这些不同方面和示例的任一者不再重复。
在图9中，图像捕获单元925包括透镜组件901和传感器组件920。传感器组件920包括棱镜组件930、反射单元940以及图像捕获传感器910、915。透镜组件901包括多个光学元件，这些光学元件包括定义光学光阑970(有时被称为光阑970)的光学元件。通过光阑970的光由在图像捕获单元925的棱镜组件930中的分束器931接收。
立体设备包括如在图9中展示的两个图像捕获单元。然而，如以上对于图3a所示的，具有图像捕获单元的左和右立体通道是对称的，因此仅描述单个通道和图像捕获单元，以避免重复描述。包括该图像捕获单元的其他通道跨过该内窥镜的纵轴与在图9中展示的通道相交的平面是对称的。
分束器931被定位为接收传递通过光阑970的光。分束器931被配置为将该接收到的光的第一部分导向到第一图像捕获传感器910，并且将该接收到的光的第二部分传递通过分束器到反射单元940。在这个示例中，棱镜组件930中的分束器931被实施为涂覆的第一表面。因此，分束器931有时被称为涂覆的第一表面931。涂覆的第一表面931将该接收到的光分开为两个部分。
涂覆的第一表面931将该接收到的光的第一部分反射到第二表面932，第二表面进而将该光导向(例如，反射)到第一图像捕获传感器910上。该接收到的光的第二部分传递通过涂覆的第一表面931到反射单元940。在一方面，该光到涂覆表面931的入射角小于45°。
第二表面932被定位为使得除了由涂覆的第一表面931反射的光之外没有光投射到第二表面932。在一方面，第二表面932是被实施为涂覆表面和全内反射表面之一的反射表面。
反射单元940包括第三表面941，该第三表面将从分束器931接收的光反射到第二图像捕获传感器915上。在一方面，第三表面941是被实施为例如涂覆表面和全内反射表面之一的反射表面。
第一图像捕获传感器910具有在第一平面911中的顶部传感器表面。第二图像捕获传感器915具有在第二平面914中的顶部传感器表面。第一平面911基本平行于第二平面914并且以已知的距离d与第二平面914分开。在此，大致平行或基本平行表示这两个平面是在与制造和安装这些图像捕获传感器相关联的容差之内的平面。图像捕获传感器的顶部传感器表面是接收来自在该传感器组件中的至少一个光学部件的光的图像捕获传感器的表面。
在一方面，从光阑970到涂覆的第一表面931到第二表面932到图像捕获传感器910的第一光路长度大致等于从光阑970通过涂覆的第一表面931到涂覆表面941到图像捕获传感器915的第二光路长度。因此，在这个方面，图像捕获传感器910和915具有通过透镜组件901中的前端光学结构的共同光路长度和到传感器组件920中的每个图像捕获传感器的大致相同的光路长度。
在另一方面，涂覆表面941被定位为使得第一和第二光路长度是不相等的。在这个方面，图像捕获传感器910和915具有通过透镜组件901中的该前端光学结构的共同光路长度以及到传感器组件920中的每个图像捕获传感器的不同光路长度。
在以上描述的这些示例中，这些实施方式考虑了在每个通道中的单组图像的捕获和处理。这样做是为了易于描述而并不旨在是限制性的。典型地，具有照相机控制单元(ccu)230r、230l的中央控制器260控制这些通道中的每一个中的图像组被捕获处的频率。在一方面，以上所述的这些捕获的图像的处理是实时完成的，使得外科医师观察到立体图像的视频序列。
类似地，单独地考虑了特征区别、增强的分辨率、增强的动态范围、可变像素矢量配置以及扩展的景深的这些不同方面。然而，鉴于本发明，可以将这些不同的方面结合以实现在组合中的不同优点。为了避免重复，不单独描述实现这些不同的组合的可能变换。
同样，以上这些示例考虑了安装在立体或单像内窥镜的远端的图像捕获单元。然而，该新颖的图像捕获单元结构可以在传统的内窥镜照相机中以及在例如立体手术显微镜中使用。因此，实施内窥镜中的图像捕获单元的描述仅是说明性的而并不旨在是限制性的。
图10是具有图像捕获单元1025的立体内窥镜1002的远端的示意图。在这个方面，图像捕获单元1025包括左透镜组件1001l、右透镜组件1001r以及具有共面的右和左图像捕获传感器1010r和1010l的传感器组件1020。在这个方面，立体内窥镜1002(有时被称为内窥镜1002)包括照明通道1005。然而，包括内部和外部照明器的任何以上描述的这些不同的照明器可以与内窥镜1002一起使用。在这个方面，右和左图像捕获传感器1010r和1010l被包括在半导体衬底1017(有时称为半导体管芯或半导体芯片)中，该半导体衬底被安装在平台1012上。
来自组织1003的光通过透镜组件1001r和1001l到达传感器组件1020。在透镜组件401b(图4b)中的这些元件是透镜组件1001r和透镜组件1001l的示例。通过透镜组件1001r和1001l的光由反射单元1040的反射表面1041接收。反射表面1041将该接收到的光导向(例如，反射)到第一图像捕获传感器1010r的顶部传感器表面上以及第二图像捕获传感器1010l的顶部传感器表面上。表面1041可以是涂覆表面或全内反射表面。
内窥镜1002之内的到第一图像捕获传感器1010r和到第二图像捕获传感器1010l的这些光路长度具有基本相同的长度。例如，从透镜组件1001r到第一图像捕获传感器1010r的顶部传感器表面的第一光路长度大致等于从透镜组件1001l到第二图像捕获传感器1010l的顶部传感器表面的第二光路长度。因此，在内窥镜1002中的每个立体光学通道具有大致相同的到图像传感器的光路长度。
在这个方面，图像捕获传感器1010r的表面与图像捕获传感器1010l的表面是共面的。替代地，图像捕获传感器1010r具有在第一平面中的顶部传感器表面并且图像捕获传感器1010l具有在第二平面中的顶部传感器表面，其中第一和第二平面是平行的并以已知的距离分开(参见图9)。在这个方面，反射单元中的反射表面的位置被调整为补偿该已知的距离，使得到第一图像捕获传感器的第一光路长度大致等于到第二图像捕获传感器的第二光路长度。替代地或另外地，可以在这些光路之一或两者中使用透镜，以产生这些大致相等的光路长度。
在图10的示例中以及在这些图像捕获传感器的替代布置中，这些被第一图像捕获传感器1010r捕获并且到达第二图像捕获传感器1010l的图像具有相同的焦距和景深并且相对于彼此在空间上配准。图像捕获单元1025是小而紧凑的，因此可以在不具有容纳以上描述的这些图像捕获单元的足够空间的应用中使用。还应当注意的是，这个图像捕获单元围绕内窥镜1002的中心轴1090不是对称的。在有另外的针对工具或器械的某些应用中，这种不对称性是一个优点。这种构造还提供了针对左眼和右眼的成像区域在以下情况下的完美对齐：在该图像传感器包括在单个硅芯片上的针对每只眼的成像区域的情况下，或在该装置使用较大的成像装置并且人们不必使用在这两个成像区之间的区域中的一些像素的情况下。
所有示例和说明性的参考文献是非限制性的并且不应当用来将权利要求限制于在此描述的特殊实施方式和实施例以及它们的等同物。这些标题仅是为了格式化并且不应当用来以任何方式限制该主题，因为在一个标题下方的文本可以跨越参考文献或适用于在一个或多个标题下方的文本。最后，鉴于本发明，描述的与一个方面或实施例有关的特殊特征可以适用于本发明的其他披露的方面或实施例，尽管没有具体地显示在这些图形中或在本文中描述。
在此描述的这些不同模块可以通过在处理器上执行的软件、硬件、固件或这三者的任何组合来实施。当这些模块被实施为在处理器上执行的软件时，该软件被作为计算机可读指令储存在存储器中，并且这些计算机可读指令在该处理器上执行。该存储器的全部或部分可以处于相对于处理器的不同物理位置，只要该处理器可以被耦合到存储器即可。存储器是指易失性存储器、非易失性存储器、或这两者的任何组合。
同样，这些不同的模块的功能，如在此描述的，可以通过一个单元来完成，或者可以在不同的部件之间分割，每一个功能可以依次通过硬件、在处理器上执行的软件、以及固件的任何组合来实施。当在不同的部件之间分割时，这些部件可以被集中在一个位置中或跨系统200分布以用于分布处理目的。这些不同模块的执行导致进行针对不同模块和控制器260的以上描述的这些过程的方法。
因此，处理器被耦合到含有由该处理器执行的指令的存储器。这可以在计算机系统内完成，或替代地通过经由调制解调器和模拟线到另一计算机的连接、或数字界面和数字载波线来完成。
在此，计算机程序产品包括被配置为储存对于在此描述的这些过程的任何部分或全部需要的计算机可读代码或其中储存用于这些过程的任何部分或全部的计算机可读代码的计算机可读介质。计算机程序产品的一些实例是cd-rom盘、dvd盘、闪速存储器、rom卡、软盘、磁带、计算机硬盘驱动器、网络上的服务器以及代表计算机可读程序代码的在网络上传输的信号。非短暂有形计算机程序产品包括被配置为储存用于这些过程的任何部分或全部的计算机可读指令或其中储存用于这些过程的任何部分或全部的计算机可读指令的有形计算机可读介质。非短暂有形计算机程序产品是cd-rom盘、dvd盘、闪速存储器、rom卡、软盘、磁带、计算机硬盘驱动器以及其他物理存储介质。
鉴于本发明，用于在此描述的这些过程的任何部分或全部中的指令可以在多种多样的计算机系统配置中实施，这些计算机系统配置使用对于该用户感兴趣的操作系统和计算机程序语言。
在此，第一和第二被用作在元件之间进行区分的形容词并且并不旨在指示许多元件。并且，顶部、底部以及侧面用作辅助在如这些图形中观察的元件之间进行区分的形容词，并且有助于将这些元件之间的相对关系可视化。例如，顶部和底部表面是彼此相对并且从其移除的第一和第二表面。侧表面是在第一和第二表面之间延伸的第三表面。顶部、底部、侧面不被用来定义绝对物理位置。
展示本发明的多个方面和实施例的以上说明和附图不应当被理解为是限制性的—权利要求定义了这些保护的发明。可以做出不偏离本说明书和这些权利要求的精神和范围的各种机械、构成、结构、电学以及操作变化。在一些情况下，为了避免使本发明模糊，没有详细显示或描述熟知的电路、结构以及技术。
此外，本说明书的术语并不旨在限制本发明。例如，在空间上相对的术语—例如在下方、在下面、较低的、在上面、上部的、近端的、远端的等—可以用来描述如在这些图形中展示的一个元件或特征与另一个元件或特征的关系。这些在空间上相对的术语旨在涵盖除了在这些图形中显示的位置和取向之外的在使用或操作中的装置的不同位置(即，定位)以及取向(即，旋转布局)。例如，如果将这些图形中的装置翻转，描述为在其他元件或特征的“下面”或“下方”的元件于是将在这些其他元件或特征的“上面”或“上方”。因此，示例性术语在下面可以涵盖在上面和在下面的位置和取向两者。该装置可以另外取向(旋转90度或处于其他取向)，并且相应地解释了在此使用的在空间上相对的叙词。同样，沿着不同的轴线或在其周围的运动的描述包括不同的空间装置位置和取向。
除非上下文另外指出，单数形式“一个/一”和“该/所述”也旨在包括复数形式。术语“包含”、“含有”、“包括”等指定所陈述的特征、步骤、操作、元件和/或部件的存在，但是不排除一个或多个其他特征、步骤、操作、元件、部件和/或组的存在或添加。描述为耦合的部件可以被电学地或机械地直接耦合，或者它们可以经由一个或多个中间部件而被间接耦合。在此包括了以下实施例。
第一实施例
一种设备可以包括：包括第一传感器表面的第一图像捕获传感器；包括第二传感器表面的第二图像捕获传感器，其中所述第一和第二图像捕获传感器表面是共面的；分束器，其被定位为接收光、被配置为将该接收到的光的第一部分导向到所述第一传感器表面并且被配置为传递该接收的光的第二部分通过所述分束器；以及反射单元，其被定位为接收该接收到的光的所述第二部分并且将该接收到的光的所述第二部分导向到所述第二图像捕获传感器。在一些方面，所述第一和第二图像捕获传感器可以包括图像捕获传感器芯片的不同区域。在一些方面，所述设备可以包括内窥镜，所述内窥镜包括一远端，该远端包括所述第一和第二图像捕获传感器、所述分束器以及所述反射单元。在一些方面，所述设备可以进一步包括立体内窥镜，所述立体内窥镜包括一远端、一对通道、以及多个第一和第二图像捕获传感器、多个分束器以及多个反射组件，其中所述第一图像捕获传感器、所述第二图像捕获传感器、所述分束器以及所述反射单元以复数个被包括，并且其中该对通道中的每个通道在所述立体内窥镜的远端中包括该复数个中的不同的第一图像捕获传感器、不同的第二图像捕获传感器、不同的分束器以及不同的反射单元。在一些方面，所述设备可以进一步包括棱镜组件，所述棱镜组件包括所述分束器，其中所述分束器包括被配置为反射该接收到的光的所述第一部分并且传递该接收到的光的所述第二部分的第一表面；和/或其中所述棱镜组件可以进一步包括被配置为将该反射的光从所述第一表面导向到所述第一传感器表面的第二表面，其中所述第二表面被定位为使得没有其他光投射到所述第二表面；和/或其中所述第一表面可以包括多层涂覆表面；和/或其中所述反射单元可以进一步包括被定位为将该接收到的光的所述第二部分反射到所述第二图像捕获传感器的表面的反射表面；和/或其中所述第一表面可以具有小于四十五度的入射角；和/或其中所述棱镜组件和所述反射单元包括单个一体结构(例如，胶合在一起的两个或三个部分，或五棱镜)，其中所述第一表面可以包括多层涂覆表面；和/或其中所述单个一体结构可以包括胶合在一起的两个部分和胶合在一起的三个部分之一；和/或其中所述单个一体结构可以包括五棱镜；和/或其中所述设备可以进一步包括定位为与所述棱镜组件相邻并且在其远端的光阑，可选地进一步包括定位为与所述光阑相邻并且在其远端的基于液晶的聚焦元件；和/或其中所述棱镜组件可以进一步包括该接收到的光进入所述棱镜组件所通过的第一表面，其中从所述第一表面到所述第一传感器表面的第一光路长度大致等于从所述第一表面到所述第二传感器表面的第二光路长度，或在长度上不同于从所述第一表面到所述第二传感器表面的第二光路长度，使得这两个光路长度的长度差被配置为提供在所述第一图像捕获传感器和所述第二图像捕获传感器捕获的图像之间的焦距差。在一些方面，所述分束器可以进一步包括涂覆表面，其被配置为反射该接收到的光的所述第一部分并且传输该接收到的光的所述第二部分；其中该接收到的光的所述第一和第二部分可以分别是不同的或基本相同的第一和第二百分比的该接收到的光。在一些方面，所述第一和第二图像捕获传感器两者可以包括彩色图像捕获传感器，或者一个可以包括单色图像捕获传感器。
第二实施例
一种设备可以包括：包括第一传感器表面的第一图像捕获传感器；包括第二传感器表面的第二图像捕获传感器，其中所述第一传感器表面处于第一平面，所述第二传感器表面处于第二平面，所述第一和第二平面是基本平行的并且分开一已知的距离；分束器，其被定位为接收光、被配置为将该接收到的光的第一部分导向到所述第一传感器表面、并且被配置为传递该接收到的光的第二部分通过所述分束器；以及反射单元，其被定位为接收该接收到的光的所述第二部分并且将该接收到的光的所述第二部分导向到所述第二图像捕获传感器。
第三实施例
一种设备可以包括：包括第一传感器表面的第一图像捕获传感器；包括第二传感器表面的第二图像捕获传感器；第一透镜组件；第二透镜组件；以及反射单元，其被定位为接收传递通过所述第一透镜组件的光并且将该接收到的光从所述第一透镜组件反射到所述第一传感器表面，并且被定位为接收传递通过所述第二透镜组件的光并且将该接收到的光从所述第二透镜组件反射到所述第二传感器表面，其中从所述第一透镜组件到所述第一传感器表面的第一光路长度大致等于从所述第二透镜组件到所述第二传感器表面的第二光路长度。在一些方面，所述第一和第二图像捕获传感器表面可以是共面的，或者所述第一和第二传感器表面可以分别处于基本平行且分开一已知的距离的第一和第二平面。
第四实施例
一种方法可以包括：在图像捕获单元的第一图像捕获传感器中捕获来自从共同前端光学系统接收的光的第一部分的第一图像；并且在所述图像捕获单元的第二图像捕获传感器中捕获来自从所述共同前端光学系统接收的该光的第二部分的第二图像，其中所述第一和第二图像捕获传感器是共面的，并且所述第一和第二图像在捕获之后相对于彼此在空间上是配准的。在一些方面，该方法可以进一步包括通过所述图像捕获单元的分束器将该接收到的光分成所述第一部分和所述第二部分；将该接收到的光的所述第一部分导向到所述第一图像捕获传感器上；并且将该光的所述第二部分导向到所述第二图像捕获传感器上。
第五实施例
一种设备可以包括：包括第一图像捕获传感器表面的第一图像捕获传感器；包括第二图像捕获传感器表面的第二图像捕获传感器；棱镜组件，其被定位为接收光且包括：该接收到的光进入所述棱镜组件所通过的远端面；分束器，其被配置为基于该接收到的光的偏振状态反射该接收到的光的第一部分并且基于该接收到的光的所述偏振状态传输该接收到的光的第二部分；被配置为将该接收到的光的所述第一部分导向到所述第一图像捕获传感器的表面；以及反射单元，其被定位为接收该接收到的光的所述第二部分并且将该接收到的光的所述第二部分导向到所述第二图像捕获传感器，其中从所述远端面到所述第一传感器表面的第一光路长度大致等于从所述远端面到所述第二传感器表面的第二光路长度。在一些方面，所述第一和第二图像捕获传感器表面可以是共面的。在一些方面，所述第一和第二传感器表面可以分别处于基本平行且分开一已知的距离的第一和第二平面。在一些方面，所述第一和第二图像捕获传感器可以包括图像捕获传感器芯片的不同区域。在一些方面，所述设备可以包括内窥镜，该内窥镜包括一远端，该远端包括所述第一和第二图像捕获传感器、所述棱镜组件以及所述反射单元。在一些方面，所述设备可以进一步包括立体内窥镜，该立体内窥镜包括一远端、一对通道、以及多个第一和第二图像捕获传感器、多个棱镜组件以及多个反射组件，其中所述第一图像捕获传感器、所述第二图像捕获传感器、所述棱镜组件以及所述反射单元以复数个被包括，并且其中该对通道中的每个通道在该立体内窥镜的远端中包括该复数个中的不同的第一图像捕获传感器、不同的第二图像捕获传感器、不同的棱镜组件以及不同的反射单元。在一些方面，所述分束器可以包括多层涂覆表面。在一些方面，所述反射单元可以进一步包括被定位为将该接收到的光的所述第二部分反射到所述第二图像捕获传感器的反射表面。在一些方面，所述棱镜组件和所述反射单元可以包括单个一体结构(例如，胶合在一起的两个或三个部分和/或五棱镜)。在一些方面，所述分束器可以具有小于四十五度的入射角。在一些方面，所述设备可以进一步包括被定位在所述分束器的远端的光阑。在一些方面，所述设备可以进一步包括被定位在所述光阑与所述棱镜组件的所述远端面之间的四分之一波长板。在一些方面，所述设备可以进一步包括耦合到所述第一和第二图像捕获传感器的控制器，其中所述控制器结合所述第一图像捕获传感器捕获的第一图像和所述第二图像捕获传感器捕获的第二图像，从而基于该接收到的光的偏振差产生一图像，该图像增加特征在该图像中的显著性。在一些方面，所述设备可以进一步包括具有偏振的照明源，其中该接收到的光包括具有不同于该偏振的偏振的反射光以及具有该偏振的反射光。在一些方面，所述设备可以进一步包括具有非偏振照明的照明源，其中该接收到的光包括反射的非偏振光以及反射的偏振光。
第六实施例
一种方法可以包括：在图像捕获单元的第一图像捕获传感器中捕获来自从共同前端光学系统接收的光的第一偏振部分的第一图像；在图像捕获单元的第二图像捕获传感器中捕获来自从所述共同前端光学系统接收的该光的第二部分的第二图像，其中从所述共同前端光学系统到所述第一传感器表面的第一光路长度大致等于从所述共同前端光学系统到所述第二传感器表面的第二光路长度。在一些方面，所述第一和第二图像捕获传感器表面可以是共面的，或者所述第一和第二传感器表面可以分别处于基本平行且分开一已知的距离的第一和第二平面。在一些方面，该方法可以进一步包括通过所述图像捕获单元的分束器基于偏振将该接收到的光分成所述第一偏振部分和所述第二部分；将该接收到的光的所述第一偏振部分通过所述分束器导向到所述第一图像捕获传感器；并且将该光的所述第二部分通过反射单元导向到所述第二图像捕获传感器。在一些方面，该方法可以进一步包括结合所述第一图像捕获传感器捕获的所述第一图像和所述第二图像捕获传感器捕获的所述第二图像，从而基于该接收到的光的偏振差产生一图像，该图像增加特征在该图像中的显著性。在一些方面，该方法可以进一步包括用偏振光或非偏振光对场景进行照明。
第七实施例
一种设备可以包括：包括第一图像捕获传感器表面的第一图像捕获传感器；包括第二图像捕获传感器表面的第二图像捕获传感器；棱镜组件，其被定位为接收光，并且包括：该接收到的光进入所述棱镜组件所通过的远端面；分束器，其被配置为反射第一百分比的该接收到的光并且传输第二百分比的该接收到的光；以及被配置为将所述第一百分比的该接收到的光导向到所述第一图像捕获传感器的表面；以及反射单元，其被定位为接收所述第二百分比的该接收到的光并且将所述第二百分比的该接收到的光导向到所述第二图像捕获传感器，其中从所述远端面到所述第一传感器表面的第一光路长度大致等于从所述远端面到所述第二传感器表面的第二光路长度。在一些方面，所述第一和第二图像捕获传感器表面可以是共面的，或者所述第一和第二传感器表面可以分别处于基本平行且以分开一已知的距离的第一和第二平面。在一些方面，所述第一和第二图像捕获传感器可以包括图像捕获传感器芯片的不同区域。在一些方面，该设备可以包括内窥镜，所述内窥镜包括一远端，该远端包括所述第一和第二图像捕获传感器、所述棱镜组件以及所述反射单元。在一些方面，该设备可以进一步包括立体内窥镜，所述立体内窥镜包括一远端、一对通道、以及多个第一和第二图像捕获传感器、多个棱镜组件以及多个反射组件，其中所述第一图像捕获传感器、所述第二图像捕获传感器、所述棱镜组件以及所述反射单元以复数个被包括，并且该对通道中的每个通道在所述立体内窥镜的远端中包括该复数个中的不同的第一图像捕获传感器、不同的第二图像捕获传感器、不同的棱镜组件以及不同的反射单元。在一些方面，所述棱镜组件可以包括五棱镜。在一些方面，该设备可以进一步包括被定位在所述棱镜组件的远端的光阑。在一些方面，百分之一百减去所述第一百分比大约为所述第二百分比。在一些方面，所述第一和第二图像捕获传感器可以包括色彩传感器。在一些方面，该设备可以进一步包括耦合到所述第一和第二图像捕获传感器的控制器，其中所述控制器结合来自所述第一图像捕获传感器捕获的第一图像的信息和来自所述第二图像捕获传感器捕获的第二图像的信息，从而产生相对于单个图像捕获传感器捕获的图像具有增强的空间分辨率和增强的动态范围之一的图像：其中所述第一和第二百分比两者大致相等，并且所述控制器产生的图像具有增强的空间分辨率；或其中所述第一和第二百分比不是大致相等的，并且所述控制器产生的图像具有增强的动态范围。在一些方面，所述第一百分比和所述第二百分比可以是大致相等的，其中所述第一百分比可以是该接收到的光的大约百分之五十，并且所述第二百分比可以是该接收到的光的大约百分之五十，其中所述分束器和所述表面可以被定位为使所述第一图像捕获传感器捕获的图像从所述第二图像捕获传感器捕获的图像偏移，其中所述第一光路长度保持大致等于所述第二光路长度；和/或其中该设备可以进一步包括控制器，所述控制器耦合到所述第一和第二图像捕获传感器并且被配置为对所述第一图像捕获传感器捕获的第一图像中的第一像素进行采样，对所述第二图像捕获传感器捕获的且对应于所述第一像素的第二像素进行采样，并且产生相比于所述第一和第二图像捕获传感器捕获的图像具有增加的表观分辨率的图像中的像素。在一些方面，所述第一百分比和所述第二百分比是不相等的，并且所述第一百分比是基于所述第一图像捕获传感器的动态范围。在一些方面，所述第一百分比是该接收到的光的大约n％并且所述第二百分比是该接收到的光的大约m％，并且n和m是正数，百分之一百减去n％大致等于m％，并且n％是基于所述第一图像捕获传感器的动态范围来选择的，其中该设备可以进一步包括控制器，所述控制器耦合到所述第一和第二图像捕获传感器并且被配置为对所述第一图像捕获传感器捕获的图像中的像素进行采样，对所述第二图像捕获传感器捕获的图像中的对应像素进行采样，并且使用这些采样的像素产生输出图像中的像素，其中所述输出图像相对于单个图像捕获传感器捕获的图像具有增加的动态范围。
第八实施例
一种设备可以包括：包括第一图像捕获传感器表面的第一图像捕获传感器；包括第二图像捕获传感器表面的第二图像捕获传感器；棱镜组件，其被定位为接收包含多个颜色分量的光，且包括该接收到的光进入所述分束器所通过的远端面；分束器，其被配置为反射所述多个颜色分量中的一个颜色分量并且传输所述多个颜色分量中的其他颜色分量；被配置为将所述一个颜色分量导向到所述第一图像捕获传感器的表面；以及反射单元，其被定位为接收该接收到的光的第二部分并且将其他颜色分量导向到所述第二图像捕获传感器，其中从所述远端面到所述第一传感器表面的第一光路长度大致等于从所述远端面到所述第二传感器表面的第二光路长度。在一些方面，所述第一和第二图像捕获传感器表面可以是共面的，或者所述第一和第二传感器表面可以分别处于基本平行且以分开一已知的距离的第一和第二平面。在一些方面，所述第一图像捕获传感器可以包括单色图像捕获传感器；并且所述第二图像捕获传感器可以包括具有针对所述多个颜色分量中的其他颜色分量的滤色器阵列的图像捕获传感器，其中所述多个颜色分量之一是绿色分量并且所述多个颜色分量的其他分量是红色分量和蓝色分量，其中所述滤色器阵列可以是针对红色像素和蓝色像素的棋盘状图案(checkerboard)；和/或其中该设备可以进一步包括控制器，所述控制器耦合到所述第一和第二图像捕获传感器，并且被配置为在所述多个颜色分量中的所述一个颜色分量中具有全空间分辨率，在所述多个颜色分量中的所述其他颜色分量中具有降低的空间分辨率，并且产生相对于彩色图像捕获传感器捕获的图像具有提高的空间分辨率和清晰度的图像。
第九实施例
一种方法可以包括：在图像捕获单元的第一图像捕获传感器中捕获来自从共同前端光学系统接收的第一百分比的光的第一图像；在图像捕获单元的第二图像捕获传感器中捕获来自从所述共同前端光学系统接收的第二百分比的光的第二图像，其中在所述图像捕获单元中的到所述第一图像捕获传感器的第一光路长度大致等于在所述图像捕获单元中的到所述第二图像捕获传感器的第二光路长度；并且结合来自所述第一图像的信息和来自所述第二图像的信息，从而产生相对于单个图像捕获传感器捕获的图像具有增强的空间分辨率和增强的动态范围之一的图像。在一些方面，所述第一和第二图像捕获传感器表面可以是共面的，或者所述第一和第二传感器表面可以分别处于基本平行且以分开一已知的距离的第一和第二平面。
第十实施例
一种设备可以包括：包括第一图像捕获传感器表面的第一图像捕获传感器；包括第二图像捕获传感器表面的第二图像捕获传感器；棱镜组件，其被定位为接收光，且包括该接收到的光进入所述棱镜组件所通过的远端面；分束器，其包括多个陷波滤波器，其中所述多个陷波滤波器反射第一组光分量作为该接收到的光的第一部分并且传递第二组光分量作为该接收到的光的第二部分；和被配置为将该接收到的光的所述第一部分导向到所述第一图像捕获传感器上的表面；以及反射单元，其被定位为接收该接收到的光的所述第二部分并且将该接收到的光的所述第二部分导向到第二图像捕获传感器，其中从所述远端面到所述第一传感器表面的第一光路长度大致等于从所述远端面到所述第二传感器表面的第二光路长度。在一些方面，所述第一和第二图像捕获传感器表面可以是共面的，或者所述第一和第二传感器表面可以分别处于基本平行且以分开一已知的距离的第一和第二平面。在一些方面，所述第一和第二图像捕获传感器可以包括图像捕获传感器芯片的不同区域。在一些方面，该设备可以包括内窥镜，所述内窥镜包括一远端，该远端包括所述第一和第二图像捕获传感器、所述棱镜组件以及所述反射单元。在一些方面，该设备可以进一步包括立体内窥镜，所述立体内窥镜包括一远端、一对通道、以及多个第一和第二图像捕获传感器、多个棱镜组件以及多个反射组件，其中所述第一图像捕获传感器、所述第二图像捕获传感器、所述棱镜组件以及所述反射单元以复数个被包括，并且其中该对通道中的每个通道在所述立体内窥镜的远端中包括该复数个中的不同的第一图像捕获传感器、不同的第二图像捕获传感器、不同的棱镜组件以及不同的反射单元。在一些方面，所述棱镜组件可以包括五棱镜。在一些方面，该设备可以进一步包括被定位在所述棱镜组件的远端的光阑。在一些方面，所述第一和第二图像捕获传感器可以包括色彩传感器；和/或该设备可以进一步包括产生包含多个颜色分量的输出光的照明器；和/或该设备可以进一步包括耦合到所述第一和第二图像捕获传感器的颜色校正模块，所述颜色校正模块被配置为接收所述第一图像捕获传感器捕获的第一图像的去马赛克图像，接收所述第二图像捕获传感器捕获的第二图像的去马赛克图像，并且根据所述第一图像中的对应像素的颜色分量矢量和所述第二图像中的对应像素的颜色分量矢量为输出图像中的像素产生n元素颜色分量矢量，其中n至少为三。在一些方面，所述第一和第二图像捕获传感器可以包括色彩传感器，每个色彩传感器包括拜耳红、绿、绿、蓝滤色器阵列；其中该设备可以进一步包括照明器，所述照明器包括：产生第一红色分量输出照明的第一激光照明源；产生第二红色分量输出照明的第二激光照明源，其中所述第二红色分量输出照明不同于所述第一红色分量输出照明；产生第一绿色分量输出照明的第三激光照明源；产生第二绿色分量输出照明的第四激光照明源，其中所述第二绿色分量输出照明不同于所述第一绿色分量输出照明；产生第一蓝色分量输出照明的第五激光照明源；以及产生第二蓝色分量输出照明的第六激光照明源，其中所述第二蓝色分量输出照明不同于所述第一蓝色分量输出照明。在一些方面，所述多个陷波滤波器可以反射所述第一红色分量光、所述第一绿色分量光以及所述第一蓝色分量光作为该接收到的光的所述第一部分，并且其中所述多个陷波滤波器可以传递所述第二红色分量光、所述第二绿色分量光以及所述第二蓝色分量光作为该接收到的光的所述第二部分。在一些方面，该设备可以进一步包括控制器，所述控制器耦合到所述第一和第二图像捕获传感器，且被配置为接收所述第一图像捕获传感器捕获的第一图像的去马赛克图像，接收所述第二图像捕获传感器捕获的第二图像的去马赛克图像，并且根据所述第一图像中的对应像素的三颜色分量矢量和所述第二图像中的对应像素的三颜色分量矢量为输出图像中的像素产生六元素颜色分量矢量；并且在一些方面可以进一步包括宽带白光照明器。在一些方面，所述多个陷波滤波器可以反射该接收到的光的红色分量的第一部分、绿色分量的第一部分以及蓝色分量的第一部分，并且传递该接收到的光的该红色分量的第二部分、该绿色分量的第二部分以及该蓝色分量的第二部分。在一些方面，该设备可以进一步包括控制器，所述控制器耦合到所述第一和第二图像捕获传感器，且被配置为接收所述第一图像捕获传感器捕获的第一图像的去马赛克图像，接收所述第二图像捕获传感器捕获的第二图像的去马赛克图像，并且根据所述第一图像中的对应像素的三颜色分量矢量和所述第二图像中的对应像素的颜色分量矢量为输出图像中的像素产生n元素颜色，其中n是在三至六范围中的整数；其中该设备可以进一步包括耦合到该控制器并且被配置为接收用于每个像素的n元素颜色分量矢量的显示器。在一些方面，该设备可以进一步包括被定位在所述棱镜组件的远端的透镜系统，所述透镜系统被配置为将不同波长的光聚焦在距该透镜系统的不同距离处。在一些方面，该设备可以进一步包括控制器，所述控制器耦合到所述第一和第二图像捕获传感器，且被配置为将数字滤波器内核应用到所述第一图像捕获传感器捕获的第一图像和所述第二图像捕获传感器捕获的第二图像并产生第三和第四图像，将该第三和第四图像去马赛克，并且根据该去马赛克的第三图像中的对应像素的颜色分量矢量和该去马赛克的第四图像中的对应像素的颜色分量矢量为输出图像中的像素产生n元素颜色分量矢量，其中n是在三至六范围中的整数。在一些方面，该设备可以进一步包括照明器，该照明器包括：产生红色分量输出照明的第一激光照明源；产生绿色分量输出照明的第二激光照明源；和产生蓝色分量输出照明的第三激光照明源；其中在一些方面所述多个陷波滤波器反射红色分量光、绿色分量光以及蓝色分量光作为该接收到的光的所述第一部分并且传递荧光；其中在一些方面，该设备可以进一步包括控制器，所述控制器耦合到所述第一和第二图像捕获传感器,且被配置为根据第一图像中的对应像素的颜色分量矢量和第二图像中的对应像素的颜色分量矢量为输出图像中的像素产生至少四元素颜色分量矢量，其中在该四元素颜色分量矢量中的三个元素用于可见彩色图像，并且在该四元素颜色分量矢量中的第四个元素用于荧光图像；其中在一些方面，所述第一和第二图像捕获传感器中的每一个包括含有拜耳红、绿、绿、蓝滤色器阵列的色彩传感器；其中在一些方面该照明器可以进一步包括荧光激发光源，并且该设备可以进一步包括被安装为阻断在该接收到的光中的来自荧光激发光源的光的滤波器；并且其中在一些方面该荧光可以被包括在多种荧光中并且每种荧光包括不同的颜色。
第十一实施例
一种方法可以包括：用图像捕获单元的多个陷波滤波器将通过共同前端光学系统接收的光分离成第一多个光分量和第二多个光分量；在图像捕获单元的第一图像捕获传感器中捕获来自所述第一多个光分量的第一图像；在图像捕获单元的第二图像捕获传感器中捕获来自所述第二多个光分量的第二图像，其中在所述图像捕获单元中的到所述第一图像捕获传感器的第一光路长度大致等于在所述图像捕获单元中的到所述第二图像捕获传感器的第二光路长度；并且根据所述第一图像中的对应像素的颜色分量矢量和所述第二图像中的对应像素的颜色分量矢量为输出图像中的像素产生n元素颜色分量矢量，其中n至少为三。在一些方面，所述第一和第二图像捕获传感器表面可以是共面的，或者所述第一和第二传感器表面可以分别处于基本平行且以分开一已知的距离的第一和第二平面。
第十二实施例
一种设备可以包括：包括第一图像捕获传感器表面的第一图像捕获传感器；包括第二图像捕获传感器表面的第二图像捕获传感器；棱镜组件，其被定位为接收光，且包括该接收到的光进入所述棱镜组件所通过的远端面；分束器，其被配置为反射该接收到的光的第一部分并且传输该接收到的光的第二部分；被配置为将该接收到的光的所述第一部分导向到所述第一图像捕获传感器的表面；以及反射单元，其被定位为接收该接收到的光的所述第二部分并且将该接收到的光的所述第二部分导向到所述第二图像捕获传感器，其中从所述远端面到所述第一传感器表面的第一光路长度小于从所述远端面到所述第二传感器表面的第二光路长度，所述第一图像捕获传感器捕获聚焦在第一物距处的图像，并且所述第二图像捕获传感器捕获聚焦在第二物距处的图像。在一些方面，所述第一和第二图像捕获传感器表面可以是共面的，或者所述第一和第二传感器表面可以分别处于基本平行且以分开一已知的距离的第一和第二平面。在一些方面，所述第一和第二图像捕获传感器可以包括图像捕获传感器芯片的不同区域。在一些方面，该设备可以包括内窥镜，所述内窥镜包括一远端，该远端包括所述第一和第二图像捕获传感器、所述棱镜组件以及所述反射单元。在一些方面，该设备可以进一步包括立体内窥镜，所述立体内窥镜包括一远端、一对通道、以及多个第一和第二图像捕获传感器、多个棱镜组件以及多个反射组件，其中所述第一图像捕获传感器、所述第二图像捕获传感器、所述棱镜组件以及所述反射单元以复数个被包括，并且该对通道中的每个通道在该立体内窥镜的远端中包括该复数个中的不同的第一图像捕获传感器、不同的第二图像捕获传感器、不同的棱镜组件以及不同的反射单元。在一些方面，所述棱镜组件包括五棱镜。在一些方面，该设备可以进一步包括被定位在该棱镜组件的远端的光阑。在一些方面，该接收到的光的所述第一部分可以是第一百分比的该接收到的光，并且该接收到的光的所述第二部分可以是第二百分比的该接收到的光；其中在一些方面所述第一和第二百分比两者是大致相等的；并且其中在一些方面百分之一百减去所述第一百分比大约是所述第二百分比；并且其中在一些方面所述第一和第二百分比不是大致相等的，并且所述第一百分比小于所述第二百分比，其中在一些方面所述第一和第二图像捕获传感器中的至少之一包括彩色图像捕获传感器；在一些方面进一步包括控制器，所述控制器耦合到接收所述第一和第二图像的所述第一和第二图像捕获传感器，并且被配置为根据所述第一和第二图像自动产生焦点对准的输出图像，在一些方面进一步被配置为对所述第一图像中的第一组像素采样，对所述第二图像中的对应第二组像素采样，并且选择所述第一像素组和第二像素组之一用于输出图像；在其他方面进一步包括控制器，所述控制器耦合到所述第一和第二图像捕获传感器，且被配置为获取所述第一图像捕获传感器捕获的第一图像和所述第二图像捕获传感器捕获的第二图像，并且被配置为根据所述第一和第二图像产生深度图，在一些方面进一步被配置为产生场景的三维表面，将所述第一和第二图像投影并且纹理映射返回该三维表面以产生纹理化的图像表面，并且根据该深度图和该纹理化的图像表面为虚拟照相机点产生新的图像；在其他方面进一步包括立体内窥镜，所述立体内窥镜包括一远端、一对通道、以及多个第一和第二图像捕获传感器、多个棱镜组件以及多个反射组件，其中所述第一图像捕获传感器、所述第二图像捕获传感器、所述棱镜组件以及所述反射单元以复数个被包括，并且其中该对通道中的每个通道在所述立体内窥镜的远端中包括该复数个中的不同的第一图像捕获传感器、不同的第二图像捕获传感器、不同的棱镜组件以及不同的反射单元，在一些方面进一步包括控制器，所述控制器耦合到该对通道的第一通道中的所述第一和第二图像捕获传感器以接收第一和第二采集的图像并且耦合到该对通道的第二通道中的所述第一和第二图像捕获传感器以接收第三和第四采集的图像，所述控制器被配置为为所述第一通道产生第一通道深度图并且为所述第二通道产生第二通道深度图，基于所述第一和第二通道深度图产生场景的三维表面，将所述第一、第二、第三和第四采集的图像投影到该三维表面上并且将其纹理化以产生纹理化的图像表面，并且根据纹理化的图像表面为新的虚拟照相机视点产生新的图像。
第十三实施例
一种方法可以包括：在图像捕获单元的第一图像捕获传感器中捕获来自从共同前端光学系统接收的光的一部分的第一图像；在图像捕获单元的第二图像捕获传感器中捕获来自从所述共同前端光学系统接收的光的第二部分的第二图像，其中在所述图像捕获单元中的到所述第一图像捕获传感器的第一光路长度小于在所述图像捕获单元中的到所述第二图像捕获传感器的第二光路长度；并且结合来自所述第一图像的信息和来自所述第二图像的信息，从而产生具有延伸的景深的焦点对准的图像。在一些方面，所述第一和第二图像捕获传感器表面是共面的，或者所述第一和第二传感器表面分别处于基本平行且以分开一已知的距离的第一和第二平面。
第十四实施例
一种方法可以包括：在图像捕获单元的第一图像捕获传感器中捕获来自从共同前端光学系统接收的光的一部分的第一图像；在图像捕获单元的第二图像捕获传感器中捕获来自从所述共同前端光学系统接收的光的第二部分的第二图像，其中在所述图像捕获单元中的到所述第一图像捕获传感器的第一光路长度小于在所述图像捕获单元中的到所述第二图像捕获传感器的第二光路长度；并且结合来自所述第一图像的信息和来自所述第二图像的信息，从而产生虚拟照相机视点的图像。在一些方面，所述第一和第二图像捕获传感器表面可以是共面的，或者所述第一和第二传感器表面可以分别处于基本平行且以分开一已知的距离的第一和第二平面。在一些方面，该方法可以进一步包括将来自多个虚拟照相机视点的场景的图像显示在非立体显示单元上，使得该显示的场景随着时间来回摇摆。
- 还没有人留言评论。精彩留言会获得点赞！