缺光环境中的超光谱成像的制作方法

背景技术：

科技的进步已提供了医用成像能力的进步。内窥镜可用于观察身体内部并检查身体的器官或腔体的内部。内窥镜可用于调查患者的症状、确认诊断或提供医学治疗。医学内窥镜可用于通过小切口等方式观察多种身体系统和部分，包括例如胃肠道、呼吸道、尿道、腹腔。内窥镜还可用于外科手术，诸如整形外科手术、在关节或骨上进行的手术、在神经系统上进行的手术、在腹腔内进行的手术等。

内窥镜也已用于非医学领域中，以用于观察和检测可能无法触及或难以看到的空间。例如，规划师或建筑师可使用内窥镜来可视化所提议的建筑物或城市的标度模型。内窥镜可用于可视化复杂系统诸如计算机的内部空间。执法人员或军事人员甚至可以使用内窥镜在狭窄空间中进行监视或检查爆炸性装置。

在内窥镜的各种用途中，观察色彩空间可能是有利的。对于图像的每个像素，数字彩色图像可包括至少三个层或“颜色通道”。颜色通道中的每个测量光谱带的光的强度和色度。通常，数字彩色图像包括红色、绿色和蓝色光谱带的颜色通道(这可称为rgb图像)。红色、绿色和蓝色颜色通道中的每个包括红色、绿色或蓝色光谱带的亮度信息。可将单独的红色、绿色和蓝色层的亮度信息组合以生成数字彩色图像。因为彩色图像由单独层构成，所以数字相机图像传感器通常包括滤色器阵列，该滤色器阵列允许红色、绿色和蓝色可见光波长击中所选择的像素传感器。每个单独的像素传感器元件对红色、绿色或蓝色波长敏感，并且将仅返回该波长的图像数据。将来自像素传感器的总阵列的图像数据组合以生成rgb图像。

在内窥镜成像用于医学诊断或医学规程的情况下，通过彩色图像观察体腔可能是有利的或甚至是必要的。例如，如果内窥镜用于观察身体的腹腔，彩色图像可以提供有价值的信息，以帮助识别腹部内的不同器官或组织，或者识别空间内的某些病症或疾病。如上所讨论，能够捕获彩色图像的数字相机可具有至少三种不同类型的像素传感器以单独捕获彩色图像的红色、绿色和蓝色层。该至少三种不同类型的像素传感器可消耗相对显著的物理空间(当与颜色不定像素阵列相比时)，使得完整像素阵列不能配合在插入体内的内窥镜的小远侧端部上。因为彩色数字相机可包括该至少三种不同类型的像素传感器，所以总像素阵列(即，图像传感器)通常位于内窥镜的手持件单元中，该手持件单元由内窥镜操作者保持并且不放置在体腔内。对于此类内窥镜，光沿着内窥镜的长度从手持件单元传输到放置在体腔内的内窥镜的远侧端部。该内窥镜配置具有显著限制。具有该配置的内窥镜是精密的，并且当其在常规使用期间发生碰撞或冲击时可容易地不对准或损坏。这可显著降低由内窥镜生成的图像的质量，并且内窥镜需要频繁修理或更换。

在一些情况下，特别是在医学成像或医学规程的情况下，看到不只是彩色图像可能是有利的。彩色图像反映人眼在观察环境时检测到的内容。然而，人眼仅限于观察可见光，并且无法检测到电磁光谱的其它波长。在超过“可见光”波长的电磁光谱的其它波长下，可获得关于环境的附加信息。一种检测关于环境中超出人眼所能检测的附加信息的方法为超光谱成像。就用于医学目的的成像而言，超光谱成像可提供体腔的独特视图，所述视图提供人眼或数字彩色相机可检测的信息之外的附加信息。

超光谱成像可用于识别不同的材料或对象并用于识别不同的过程。人眼大多数在三个波长带中看见可见光的颜色，这些波长带被认为是红色、绿色和蓝色的组合。典型的人眼将响应于约350nm至约750nm的电磁辐射波长，并且该波长带可被称为“可见光谱”。超光谱成像是不同的，因为其基于组织、对象或材料的反射将光波长的光谱分成多得多的带。这使得超光谱成像能够提供人眼可见信息之外的信息。超光谱成像可在人眼或计算机难以或不可能识别特定材料、对象或过程的多种应用中提供有益信息。超光谱成像在某些情况下可特别有效，因为一些对象在电磁光谱中留下可称为光谱特征的独特“指纹”。这些光谱特征使得能够识别用人眼或计算机无法看见的某些材料、对象或过程。

超光谱成像最初被开发用于采矿和地质中的应用。与向人眼提供有限信息的正常相机图像不同，超光谱成像可基于不同矿物质的光谱特征来识别特定矿物质。即使当在鸟瞰图像中捕集时，超光谱成像也可以是有用的，并且可以提供关于例如来自管道或天然井的油或气体泄漏以及它们对附近植被的影响的信息。基于可通过超光谱成像识别的某些材料、对象或过程的光谱特征来收集该信息。

然而，超光谱成像极其复杂，并且可能需要快速的计算机处理容量、敏感检测器和大的数据存储容量。另外，如果超光谱图像叠层在黑白或彩色图像上以向执业医生提供上下文，则能够生成叠层图像的相机(或多个相机)可具有对不同电磁辐射范围敏感的许多不同类型的像素传感器。这可包括用于通过常规方法的方式生成rgb彩色图像的三种单独类型的像素传感器，以及用于在电磁光谱的不同波长下生成超光谱图像数据的附加像素传感器。这可能消耗相对较大的物理空间，并且需要较大的像素阵列以确保图像分辨率令人满意。在内窥镜成像的情况下，一个或多个相机可放置在内窥镜手持单元或机器人单元中，因为多个波长敏感像素传感器需要太多的物理空间而无法放置在体腔内的内窥镜的远侧端部处，并且需要太大的像素阵列。这引入了与上述相同的缺点，并且可导致内窥镜非常精密，使得当内窥镜在使用期间发生碰撞或冲击时，图像质量会显著降低。

本公开整体涉及电磁感测和可适用于内窥镜成像的传感器。本公开还涉及低能量电磁输入条件以及低能量电磁吞吐量条件。更具体地讲，本发明涉及(但不一定完全涉及)用于在缺光环境中产生图像的系统以及相关联的结构、方法和特征，其可以包括通过持续时间、强度或两者来控制光源，在图像传感器的消隐周期期间脉冲部件控制的光源，使消隐周期最大化以允许最佳光，并且保持色彩平衡。

本公开的特征与优势将在下面的说明书中予以阐述，并且根据说明书将是部分显而易见的，或者本公开的做法无需过度的实验即可被借鉴。本公开的特征和优点可通过所附权利要求书中特别指出的器械和组合来实现和获得。

附图说明

参考以下附图描述了本公开的非限制性和非完全性的具体实施，其中除非另外指明，否则在各个视图中类似的附图标号指示类似的部分。参照以下说明和附图将更好地理解本公开的优点，其中：

图1为根据一个实施方案的用于在缺光环境中产生图像的操作中的配对的传感器和电磁发射器系统的实施方案的示意图；

图2为互补系统硬件的示意图；

图2a至图2d为根据本公开的实施方案的用于构造一个图像帧的传感器的操作循环的图示；

图3为根据一个实施方案的电磁发射器的实施方案的操作的图形表示；

图4为根据一个实施方案的改变所发射电磁脉冲的持续时间和量值以便提供曝光控制的图形表示；

图5为根据一个实施方案的将图2a至图4的传感器的操作循环、电磁发射器和所发射电磁脉冲组合的本公开的实施方案的图形表示，其示出了操作期间的成像系统；

图6示出了根据一个实施方案的在从t(0)到t(1)的时间周期内用于记录全光谱光和分区光谱光的视频帧的两个不同方法的示意图；

图7a至图7e示出了根据本公开的原理和教导内容的在时间间隔内用于记录全光谱光和分区光谱光两者的视频帧的方法的示意图；

图8至图12示出了根据本公开的原理和教导内容对电磁发射器和传感器两者的调节，其中在一些实施方案中此类调节可同时进行；

图13至图21示出了根据本公开的实施方案的与分区光系统一起使用的传感器校正方法和硬件示意图；

图22至图23示出了根据本公开的实施方案的用于增加密闭环境或有限光照环境内的动态范围的方法和硬件示意图；

图24示出了与无颜色校正相比，颜色校正对典型的基于拜耳的传感器的信噪比的影响；

图25示出了与srgb色域相比，3单色激光器的色度；

图26至图27b示出了根据本公开的实施方案的用于增加密闭环境或有限光照环境内的动态范围的方法和硬件示意图；

图28a至图28c示出了根据本公开的实施方案的用对应的颜色传感器脉冲和/或同步的白光发射的使用；

图29a和图29b示出了根据本公开实施方案的具有用于产生三维图像的多个像素阵列的具体实施；

图30a和30b分别示出了构建在多个基板上的成像传感器的具体实施的透视图和侧视图，其中形成像素阵列的多个像素列位于第一基板上，并且多个电路列位于第二基板上，图中显示了一列像素与其相关的或对应的电路列之间的电气连接和通信；

图31a和图31b分别示出了具有多个像素阵列用于产生三维图像的成像传感器的具体实施的透视图和侧视图，其中多个像素阵列和图像传感器构建在多个基板上；

图32至图36示出了根据本公开的实施方案的包括各种机械滤光器和快门配置的发射器的实施方案；

图37为根据一个实施方案的示出了用于向缺光环境提供照明的系统的示意图；

图38为根据一个实施方案的示出了具有多个发射器的光源的示意性框图；

图39为根据另一个实施方案的示出了具有多个发射器的光源的示意性框图；

图40为根据又一个实施方案的示出了具有多个发射器的光源的示意性框图；

图41为根据一个实施方案的示出了在输出处经由漫射器输出以照明场景的单根光纤的示意图；

图42为根据一个实施方案的示出了使用滤光器生成过滤后的图像的框图；

图43示出了根据一个实施方案的被分成可由光源的发射器发射的多个不同子光谱的电磁光谱的一部分；

图44为根据一个实施方案的示出了用于生成多光谱或超光谱图像的发射和读出的定时图的示意图；

图45为根据一个实施方案的示出了使用滤光器生成过滤后的图像的框图；

图46为根据一个实施方案的示出了使用多个滤光器生成过滤后的图像的框图；以及

图47为根据一个实施方案的示出了用于对象和/或表面跟踪的网格阵列的示意图；

图48为根据一个实施方案的示出了用于生成多光谱或超光谱图像的发射和读出的方法的示意性流程图；并且

图49为根据一个实施方案的示出了用于生成荧光图像的发射和读出的方法的示意性流程图。

具体实施方式

本公开涉及主要适用于医学应用诸如医学内窥镜成像的数字成像的方法、系统和基于计算机的产品。如本文所公开的此类方法、系统和基于计算机的产品可提供用于医学机器人应用，诸如用于执行成像规程、外科规程等的机器人的使用的成像或诊断能力。在本公开的以下描述中，参考了附图，附图构成本公开的一部分，并且其中以图示的方式示出了可实施本公开的特定具体实施。应当理解，在不脱离本公开的范围的前提下，可采用其它具体实施并进行结构改变。

内窥镜具有多种用途，并且可在医学领域中提供显著的益处。内窥镜检查用于医学中以观察身体内部，并且在一些情况下可提供原本将不可能看到或将需要侵入式外科手术的成像。内窥镜可用于医学诊断、调查或研究，并且也可用于以微创方式执行医学规程。通过消除对于痛苦的侵入式矫正或探查性手术的需要，医学内窥镜可为患者和执业医生提供显著益处。

如本文所公开，用于缺光环境(诸如身体的腔体)中的内窥镜系统可包括成像装置和光引擎。光引擎可包括用于生成电磁辐射脉冲的照明源，并且还可包括用于将电磁辐射脉冲传输到内窥镜的远侧末端的内腔。内腔可在电磁光谱的特定波长或波长带下传输电磁辐射脉冲。内腔可以定时序列传输此类脉冲，并且成像数据可在每个脉冲期间由传感器捕获。与脉冲的不同波长相关联的成像数据可用于生成红绿蓝(rgb)图像和/或多光谱或超光谱图像。在一个实施方案中，多光谱或超光谱成像可叠层在黑白或rgb图像上。

如本文所公开，用于内窥镜图像系统的系统、方法和装置可提供缺光环境的专用图像数据。专用图像数据可用于生成多光谱或超光谱成像和/或识别缺光环境内的某些物质、组织、部件或过程。在某些实施方案中，可将多光谱或超光谱成像提供给执业医生或计算机实现的程序以使得能够识别体内的某些结构或组织。此类多光谱或超光谱成像数据可叠层在黑白或rgb图像上以提供附加信息和上下文。

此外，用于内窥镜图像系统的此类系统、方法和装置可与某些试剂或染料配合使用。在医学成像具体实施中，可向患者施用某些试剂或染料，并且这些试剂或染料可发荧光或对某些波长的电磁辐射作出反应。如本文所公开的内窥镜图像系统可传输特定波长的电磁辐射以使试剂或染料发荧光。试剂或染料的荧光可由图像传感器捕获以生成成像，从而有助于组织或结构的识别和/或有助于诊断或研究。在一个具体实施中，可向患者施用多种试剂或染料，每种试剂或染料被配置为发出不同波长的荧光和/或提供不同结构、组织、化学反应、生物过程等的指示。在此类具体实施中，如本文所公开的内窥镜系统可发射适用波长中的每个，以使适用试剂或染料中的每种发荧光。这可消除针对多种试剂或染料中的每种执行各个成像规程的历史需要。

医学内窥镜可提供内窥镜的远侧端部所插入的身体内部空间的连续数字图像流。在各种具体实施中，数字图像流提供全彩成像可能是有利的或甚至是必要的，使得执业医生可更好地区分身体中的组织和结构。在另外的具体实施中，提供超光谱成像数据可能有利的，从而以增强的精度区分结构、组织、过程和病症。另外，超光谱成像可使得执业医生或计算机程序能够接收关于人眼不可见或在rgb彩色图像中不可分辨的人体病症的信息。

本文公开了用于由内窥镜生成彩色图像数据和/或超光谱图像数据的系统、方法和装置。本公开的系统包括成像装置，该成像装置具有管、一个或多个图像传感器和透镜组件。透镜组件可包括对应于该一个或多个图像传感器中的至少一个的至少一个光学元件。系统还包括用于显示器和图像信号处理控制器，该显示器用于可视化场景。系统还可包括光引擎。光引擎包括照明源和内腔，该照明源被配置为生成一个或多个电磁辐射脉冲，该内腔将一个或多个电磁辐射脉冲传输到内窥镜的远侧末端。在一个实施方案中，一个或多个电磁辐射脉冲的至少一部分包括介于513nm和545nm之间的电磁辐射。在一个实施方案中，一个或多个电磁辐射脉冲的至少一部分包括介于565nm和585nm之间的电磁辐射。在一个实施方案中，一个或多个电磁辐射脉冲的至少一部分包括介于900nm和1000nm之间的电磁辐射。在本公开的具体实施中，由光引擎进行的脉冲可具有非常短的持续时间并且可短于一微秒(μs)的接通/断开时间。

在本公开的一个实施方案中，内窥镜系统照明源并脉冲用于光谱或超光谱成像的电磁辐射。光谱成像使用跨电磁光谱的多个带。这不同于仅捕获跨越基于人眼可分辨的可见光谱的三个波长(包括红色、绿色和蓝色波长)的光以生成rgb图像的常规相机。光谱成像可使用电磁光谱中的任何波长带，包括红外波长、可见光谱、紫外光谱、x射线波长或各种波长带的任何合适的组合。光谱成像可将基于不可见带(例如红外)生成的成像叠层在基于可见带(例如标准rgb图像)的成像顶部，以提供可易于由人或计算机算法分辨的附加信息。

超光谱成像是光谱成像的子类别。超光谱成像包括光谱和数字摄影。在超光谱成像的一个实施方案中，在图像平面中的每个像素处收集完整光谱或一些光谱信息。超光谱相机可使用特殊硬件来针对每个像素捕获任何合适数量的波长带，该波长带可被解释为完整光谱。超光谱成像的目标可针对不同的应用而变化。在一个应用中，超光谱成像的目标是获得图像场景中每个像素的整个电磁光谱。这可使得能够找到原本在可见光波长带下可能不可识别的某些对象。这可使得能够精确地识别某些物质或组织，虽然这些物质或组织在可见光波长带下可能不可识别。此外，这可使得能够通过跨电磁光谱的所有波长捕获图像来检测某些过程。

在医学应用中，超光谱成像可提供优于常规成像的特定优点。通过超光谱成像获得的信息可使得执业医生和/或计算机实现的程序能够精确地识别可能导致在使用常规成像诸如rgb成像的情况下可能不可诊断或可能诊断不太准确的某些组织或病症。另外，在医学规程期间可使用超光谱成像来提供图像引导的外科手术，可使得执业医生能够例如查看位于某些组织或流体后面的组织，识别与典型健康细胞形成对比的非典型癌细胞，识别某些组织或病症，识别关键结构等。超光谱成像可提供不能用常规成像生成的关于组织生理、形态和组成的专用诊断信息。

在本公开的各种应用和具体实施中，内窥镜超光谱成像可呈现优于常规成像的优点。在医学具体实施中，内窥镜超光谱成像可允许执业医生或计算机实现的程序分辨例如神经组织、肌肉组织、各种血管、血流方向等。超光谱成像可使得非典型癌组织能够与典型健康组织精确区分，并且因此可使得执业医生或计算机实现的程序能够在手术或研究成像期间分辨癌性肿瘤的边界。另外，如本文所公开的缺光环境中的超光谱成像可与试剂或染料的使用相结合，以允许进一步区分某些组织或物质。在此类实施方案中，试剂或染料可以电磁光谱中的特定波长带发荧光，从而提供特定于该试剂或染料的目的的信息。如本文所公开的系统、方法和装置可使得能够脉冲任何数量的波长带，使得一种或多种试剂或染料可在不同时间发荧光。在某些具体实施中，这可使得能够在单个成像规程期间识别或研究多种医学病症。

医学内窥镜可以可见光光谱之外的波长带脉冲电磁辐射，以使得能够生成超光谱图像。内窥镜超光谱成像是用于医学成像的非接触式和非侵入性装置，其不需要患者经历其它成像方法中常见的有害辐射暴露。

在例如机器人内窥镜手术诸如关节镜检查和腹腔镜检查中使用的常规内窥镜被设计成使得图像传感器通常被放置在手持件单元内，该手持件单元由内窥镜操作者保持并且不插入腔体中。在这样的配置中，内窥镜单元经由一组复杂的精确联接的光学部件，以最小的损失和失真将入射光沿着内窥镜管的长度传输到传感器。由于光学部件价格昂贵且采用劳动密集型制造工艺，所以内窥镜单元的成本主要取决于光学部件。此外，该类型的内窥镜是机械上精密的，并且相对微小的冲击可容易地损坏部件或干扰那些部件的相对对准。即使与内窥镜部件(诸如精确联接的光学部件)的轻微不对准也可导致图像质量的显著降低或使得内窥镜不可用。当部件未对准时，沿着内窥镜的长度行进的入射光可衰减，使得在内窥镜的远侧端部处很少光或没有光，并且内窥镜变得不可用。因为常规内窥镜需要此类精确且复杂的光学部件，并且因为那些部件可容易变得不对准，所以此类常规内窥镜需要频繁且昂贵的修理循环以保持图像质量。

该问题的一个解决方案是将图像传感器放置在内窥镜自身内的远侧端部处。此类解决方案可消除对可容易地不对准和/或损坏的联接的光学部件的复杂且精确集合的需要。该解决方案潜在地接近在例如手机相机内普遍实现的光学简单性、稳健性和经济性。然而，应当理解，由内窥镜提供的大量有益效果产生于内窥镜的远侧端部的紧凑尺寸。如果将内窥镜的远侧端部增大以容纳常规用于彩色成像或超光谱成像的多个不同波长敏感像素传感器，则像素阵列可能太大，并且内窥镜在用于医学具体实施中时可能不再适配于狭窄空间或者可能是阻塞性的或侵入性的。因为内窥镜的远侧端部必须保持非常小，所以将一个或多个图像传感器放置在远侧端部处具有挑战性。此方法的可接受的解决方案非常重要，因其引入了自有的一套工程挑战，而不仅仅是用于彩色成像或超光谱成像的传感器必须适配于非常有限的面积内这一事实。当常规相机中的像素阵列包括用于红色、绿色和蓝色可见光带中的每个的单独像素传感器，以及用于超光谱成像的其它波长带的附加像素传感器时，这是特别具有挑战性的。内窥镜的远侧末端的面积在x和y维度上可能特别地左右受限，而在z维度上沿着内窥镜管的长度存在更多的空间。

因为内窥镜的许多有益效果产生于内窥镜远侧端部的小尺寸，所以当图像传感器位于远侧端部处时，必须对图像传感器区施加有力的约束。对传感器区施加的这些有力的约束自然地导致像素阵列内的像素更少和/或更小。降低像素数可直接影响空间分辨率，而减小像素面积可降低可用信号容量从而降低像素的灵敏度，并且优化像素数量使得图像质量最大化，最小像素分辨率和使用最大像素质量和间距的本数像素使得分辨率不是问题并且降低了每个像素的信噪比(snr)。降低信号容量又将减小动态范围，即成像装置或相机从大范围亮度场景中同时捕获所有有用信息的能力。存在多种方法，不仅可延伸像素本身的动态范围，还可延伸成像系统的动态范围。然而，全部这些方法可具有一些种类的缺陷(例如在分辨率或帧率方面)，并且它们会引入不可取的人工痕迹，所述人工痕迹在极端情况下变得有问题。灵敏度降低的结果是需要更大的光功率才能将场景中的较暗区域调整至可接受的信号水平。减小光圈数(扩大口径)可弥补灵敏度损失，但会造成空间变形和焦深减小。

在传感器行业中，在现代相机应用中互补金属氧化物半导体(“cmos”)图像传感器具有较大移位的常规电荷耦合器件(“ccd”)图像传感器。与ccd图像传感器相比，cmos图像传感器具有更大的集成和操作便利性、更优或相当的图像质量、更大的灵活性和更低的成本。通常，cmos图像传感器可包括将图像信息转化为数字数据的必要电路，然后结合了各种水平的数字处理。这些处理可包括用于纠正非理想因素(例如，由功放行为变化引起的非理想因素)的基本算法到完全图像信号处理(isp)链，从而以标准红-绿-蓝(“rgb”)色彩空间例如(片上相机)提供视频数据。

内窥镜或图像传感器的控制单元可远离图像传感器定位，并且可与图像传感器相距显著的物理距离。当控制单元远离传感器时，可能期望在数字域中传输数据，因为与传输模拟数据流相比，它很大程度上不受干扰噪声和信号衰减的影响。应当理解，可使用各种电子数字信令标准，诸如lvds(低电压差分信令)、子lvds、slvs(可扩展低电压信令)或其它电子数字信令标准。

可能强烈期望使电导体的数量最小化，以减少在传感器上占用空间的焊盘的数量，并且降低传感器制造的复杂性和成本。虽然向传感器添加模数转换可能是有利的，但是由于早期转换成数字信号所需的模拟缓冲功率显著降低，转换电路占用的附加区被抵消。

在面积消耗方面，考虑到cmos图像传感器(cis)技术中可用的典型特征尺寸，在一些具体实施中，可能优选的是经由一组控制寄存器和简单命令接口在与像素阵列所在的同一芯片上生成所有内部逻辑信号。

本公开的一些具体实施包括传感器和系统组合设计的各个方面，该设计能够在高度受限的照明环境中以减少的像素数生成高清晰度图像。这可通过以下方式来实现：逐帧地脉冲单色波长，并且使用受控光源结合高帧捕获速率和特别设计的对应单色传感器在单个不同颜色波长之间切换或交替每个帧。另外，可脉冲可见光谱外的电磁辐射以使得能够生成超光谱图像。像素可以是颜色不定的，使得每个像素可生成每个电磁辐射脉冲的数据，包括红色、绿色和蓝色可见光波长的脉冲以及可用于超光谱成像的其它波长。

如本文所用，单色传感器是指无过滤功能的成像传感器。因为像素是颜色不定的，所以其有效空间分辨率明显高于传统单传感器相机中的像素颜色(通常采用拜耳图案过滤)对等物。由于单个像素之间浪费的入射光子更少，因此它们也可具有更高的量子效率。此外，为了使与拜耳图案相关联的颜色人工痕迹变得模糊，基于拜耳理论的空间颜色调制要求相应光学器件的调制传递函数(mtf)与单色调制相比更低。这对于利用颜色传感器可实现的实际空间分辨率具有有害影响。

本公开也关注图像传感器位于内窥镜远侧端部处的内窥镜检查应用的系统解决方案。为了追求基于最小面积传感器的系统，除了减少像素数，还存在可开发的其它设计方面。可将芯片的数字部分的面积最小化。此外，也可将与芯片(焊盘)的连接的数量最小化。本公开描述了实现用于实现此类系统的这些目标的新型方法。这涉及具备若干新型特征部的全定制cmos图像传感器的设计。

为了促进对根据本公开的原理的理解的目的，现在将参考附图中所示的实施方案，并且将使用特定的语言来描述这些实施方案。然而，应当理解，因此并不旨在限制本公开的范围。本文所示的本发明特征的任何改变和进一步修改，以及如本文所示的本公开的原理的任何附加的应用(其对于相关领域的技术人员和了解本公开内容的人通常将会发生)将被认为在受权利要求书保护的公开的范围内。

在公开和描述用于在缺光环境中产生图像的结构、系统和方法之前，应当理解，本公开不限于本文所公开的特定结构、配置、工艺步骤和材料，因为此类结构、配置、工艺步骤和材料可一定程度地变化。另外应当理解，本文所用的术语只是为了描述具体实施方案的目的，并不旨在进行限制，因为本发明的范围将仅由所附权利要求书及其等同形式来限定。

在描述及对本公开的主题提出权利要求时，将根据下列定义使用以下术语。

应当指出的是，如本说明书和所附权利要求书中使用的单数形式“一种”、“一个”和“该”包括多个指代物，除非上下文中明确表示其它含义。

如本文所用，术语“包括”、“包含”、“其特征在于”以及它们的语法同等成分是非遍举的或开放式的术语，不排除额外的、未述及的要素或方法步骤。

如本文所用，短语“由……组成”及其语法同等成分排除未载入权利要求书的任何要素或步骤。

如本文所用，短语“主要由……组成”及其语法同等成分将权利要求的范围限制于规定的材料或步骤以及本质上不影响被要求保护的本公开的之一种或多种基本及新颖特征的材料或步骤。

如本文所用，术语“近侧”广义上是指靠近起始点的部分的概念。

如本文所用，术语“远侧”一般是指与近侧相反，因此根据上下文其是指距离起始点较远的部分或最远的部分的概念。

如本文所用，颜色传感器或多光谱传感器是那些已知具有颜色滤光器阵列(cfa)的传感器，在其上以便将入射电磁辐射过滤为其单个分量。在电磁光谱的可见范围中，此类cfa可以基于拜尔模板或其修改形式，以便分离光线中的绿色、红色和蓝色光谱分量。

现在参见图1至图5，现在将描述用于在缺光环境中产生图像的系统和方法。图1示出了用于在缺光环境中产生图像的操作中的配对的传感器和电磁发射器的示意图。此配置允许在光控或环境缺光环境中增加功能性。

应当指出，如本文所用，术语“光”既是粒子又是波长，并且旨在表示可被像素阵列检测的电磁辐射，并且可包括来自电磁辐射的可见光谱和不可见光谱的波长。本文所用的术语“分区”是指电磁光谱的预定波长范围，其小于整个光谱，或者换句话讲，构成电磁光谱的某一部分的波长。如本文所用，发射器是关于所发射的电磁光谱的一部分可控制的光源，或是可操作其部件的物理性质、发射强度或发射持续时间或以上所有的光源。发射器可发射任何抖动的、漫射的或准直的发射中的光，并且可通过数字方式或通过模拟方法或系统来进行控制。如本文所用，电磁发射器是电磁能量爆发源，并且其包括光源，诸如激光、led、白炽光、或可进行数字控制的任何光源。

图像传感器的像素阵列可与发射器以电子方式配对，使得在操作期间它们被同步用于接收发射和系统内所进行的调节。如在图1中可见，发射器100可被调谐成发射激光形式的电磁辐射，该电磁辐射可被脉冲以照明对象110。发射器100可以对应于像素阵列122的操作和功能的间隔脉冲。发射器100可脉冲多个电磁分区105中的光，使得像素阵列接收电磁能量并产生与每个特定电磁分区105对应(在时间上)的数据集。例如，图1示出了具有单色传感器120的系统，该单色传感器具有像素阵列(黑色和白色)122和支撑电路系统，像素阵列122对任何波长的电磁辐射敏感。图中所示的光发射器100可以是能够以任何期望序列发射红色电磁分区105a、蓝色电磁分区105b和绿色电磁分区105c的激光发射器。在可生成超光谱图像的实施方案中，光发射器100可以电磁光谱中的任何波长脉冲电磁辐射，使得可生成超光谱图像。应当理解，其它光发射器100可在不脱离本公开的范围的前提下用于图1中，诸如基于数字或模拟的发射器。

在操作期间，由单色传感器120针对任何单独脉冲产生的数据可被分配特定的颜色或波长分区，其中该分配基于来自发射器100的脉冲颜色或波长分区的定时。即使像素122不是专用颜色，也可基于关于发射器的先验信息为任何给定数据集分配颜色。

在本公开的示例性实施方案中，发射器100以特定波长脉冲电磁辐射。此类脉冲可使得能够生成特别适用于某些医学或诊断应用的专用超光谱图像。在示例性实施方案中，发射器100脉冲介于513nm和545nm之间、以及介于565nm和585nm之间、以及介于900nm和1000nm之间的电磁辐射。

在一个实施方案中，可将代表red、green和blue电磁脉冲的三个数据集组合以形成单个图像帧。表示其它波长分区的一个或多个附加数据集可叠层在基于红色、绿色和蓝色脉冲的单个图像帧上。该一个或多个附加数据集可表示例如介于513nm和545nm之间、以及介于565nm和585nm之间、以及介于900nm和1000nm之间的脉冲。该一个或多个附加数据集可表示可叠层在基于红色、绿色和蓝色脉冲的单个图像帧上的超光谱成像。

应当理解，在不脱离本公开的范围的情况下，本公开不限于任何特定的颜色组合或任何特定的电磁分区，并且任何颜色组合或任何电磁分区均可用于代替red、green和blue，诸如青色、洋红色和黄色；紫外线；红外线；前述的任何组合或任何其它颜色组合，包括所有可见波长和不可见波长。在图中，待成像的对象110包含红色部分110a、绿色部分110b和蓝色部分110c。如图所示，来自电磁脉冲的反射光仅包含对象的具有对应于脉冲颜色分区的特定颜色的部分的数据。这些单独的颜色(或颜色间隔)数据集然后可用于通过在130处组合数据集来重建图像。

在一个实施方案中，可将表示红色、绿色和蓝色电磁脉冲的多个数据集连同沿着电磁光谱的附加波长分区组合，以形成具有rgb图像的单个图像帧，其中超光谱图像数据叠层在rgb图像上。根据应用或实例，可能需要波长数据集的不同组合。例如，在一些具体实施中，表示特定波长分区的数据集可用于生成用于诊断特定医学病症、研究某些身体组织等的专用超光谱图像。

如图2中所示，本公开的具体实施可以包括或利用专用计算机或通用计算机，包括计算机硬件，诸如例如一个或多个处理器和系统存储器，如下文详细讨论的。处于本公开的范围内的实施方式也可包括用于承载或存储计算机可执行指令和/或数据结构的物理及其它计算机可读介质。此类计算机可读介质可为可通过通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质为传输介质。因此，以举例而非限制性的方式，本公开的具体实施可包括至少两种明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括ram、rom、eeprom、cd-rom、固态硬盘(“ssd”)(例如，基于ram)、闪存存储器、相变存储器(“pcm”)、其它类型的存储器、其它光盘存储器、磁盘存储器或其它磁存储器装置、或任何其它可用于存储所需的呈计算机可执行指令或数据结构的形式的程序代码工具并可通过通用或专用计算机来访问的介质。

“网络”是指一个或多个数据链路，其能够使电子数据在计算机系统和/或模块和/或其它电子装置之间进行传输。在一个具体实施中，传感器与相机控制单元可网络化，以便彼此通信，以及与通过它们所连接网络进行连接的其它部件进行通信。当信息通过网络或另外的通信连接(硬连接、无线或者硬连接或无线的组合)传送或提供至计算机时，计算机合理地将该连接视作传输介质。传输介质可包括网络和/或数据链路，该网络和/或数据链路可用于承载期望的呈计算机可执行指令或数据结构的形式的程序代码工具并可通过通用或专用计算机来访问。上述组合也应涵盖在计算机可读介质的范围内。

另外，在到达各种计算机系统部件时，呈计算机可执行指令或数据结构的形式的程序代码工具，其可由传输介质自动传送至计算机存储介质(装置)(反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可缓存于网络接口模块(例如，“nic”)内的ram中，然后最终传送至计算机系统ram和/或计算机系统的非易失性计算机存储介质(装置)中。ram还可包括固态硬盘(ssd或基于pcix的实时存储器分层存储装置，诸如fusionio)。因此，应当理解，计算机存储介质(装置)可包括在计算机系统部件中，该计算机系统部件还(或甚至主要)利用了传输介质。

计算机可执行指令包括(例如)在处理器中运行时致使通用计算机、专用计算机或专用处理装置执行某些功能或功能群的指令和数据。计算机可执行指令可为(例如)二进制、中间格式指令(诸如汇编语言)、或者甚至为源代码。尽管在语言上针对结构特征和/或方法步骤阐述了本发明的主题，然而应当理解，随附权利要求书中所限定的主题未必仅限于上文所述的特征或步骤。更确切地说，上文所述的特征和步骤是作为实施权利要求书的例子形式而公开的。

本领域的技术人员应当理解，本公开可在网络计算环境中实现，该网络计算环境具有多种类型的计算机系统配置，包括个人电脑、台式计算机、笔记本电脑、信息处理器、控制单元、相机控制单元、手持设备、手持件、多处理器系统、基于微处理器的或可编程的电子消费品、网络pc、小型计算机、大型计算机、移动电话、pda、平板电脑、传呼机、路由器、交换机、各种存储设备等等。应当指出的是，任意上述计算设备都可由实体机构提供或位于实体机构内。本公开也可在分布式系统环境中实现，其中本地和远程计算机系统通过网络连接起来(通过硬连接数据链路、无线数据链路或硬连接数据链路与无线数据链路的组合)，两者均可执行任务。在分布式系统环境中，程序模块可位于本地和远程存储器存储装置二者中。

另外，在适当的情况下，本文所述的功能可通过硬件、软件、固件、数字部件或模拟部件中的一种或多种来执行。例如，可对一种或多种专用集成电路(asic)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的系统部件。本领域的技术人员应当理解，部件可具有不同的名称。本文并非旨在在名称上而非功能上不同的部件之间进行辨别。

图2是示出了示例性计算装置150的框图。计算装置150可用于执行各种程序，诸如本文所讨论的那些程序。计算装置150可用作服务器、客户端或任意其它计算实体。计算装置150可执行本文所讨论的各种监控功能，并且可执行一种或多种应用程序，诸如本文所述的应用程序。计算装置150可为各种计算装置中的任意一种，诸如台式计算机、笔记本电脑、服务器电脑、掌上电脑、相机控制单元、平板电脑等等。

计算装置150包括一个或多个处理器152、一个或多个存储器装置154、一个或多个接口156、一个或多个大容量存储装置158、一个或多个输入/输出(i/o)装置160以及显示装置180，所有器件均耦接到总线162。处理器152包括一个或多个处理器或控制器，其执行存储于存储器装置154和/或大容量存储装置158中的指令。处理器152还可以包括各种类型的计算机可读介质，诸如高速缓存存储器。

存储器装置154包括各种计算机可读介质，诸如易失性存储器(例如，随机存取存储器(ram)164)和/或非易失性存储器(例如，只读存储器(rom)166)。存储器装置154还可包括可重写rom，诸如闪存存储器。

大容量存储装置158包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如，闪存存储器)等。如图2中所示，特定的大容量存储装置为硬盘驱动器174。各种驱动器也可包括于大容量存储装置158中以能够从各种计算机可读介质中进行读取和/或写入。大容量存储装置158包括可移动介质176和/或不可移动介质。

i/o装置160包括能够向计算装置150输入或从计算装置检索数据和/或其它信息的各种装置。示例性i/o装置160包括数字成像装置、电磁传感器和发射器、光标控制装置、键盘、小键盘、麦克风、监视器或其它显示装置、扬声器、打印机、网络接口卡、调制解调器、透镜、ccd或其它图像捕获装置等等。

显示装置180包括能够向计算装置150的一个或多个用户显示信息的任何类型的装置。显示装置180的示例包括监视器、显示终端、视频投影装置等等。

接口106包括能够使计算装置150与其它系统、装置或计算环境进行交互的各种接口。示例性接口156可包括任何数量的不同网络接口170，诸如连接局域网(lan)、广域网(wan)、无线网和因特网的接口。其它接口包括用户接口168和外围装置接口172。接口156还可包括一个或多个用户接口元件168。接口156还可包括一个或多个外围接口，诸如用于打印机、指示装置(鼠标、触控板等)、键盘等的接口。

总线162使处理器152、存储器装置154、接口156、大容量存储装置158和i/o装置160能够彼此通信，并与耦接到总线162的其它装置或部件进行通信。总线162表示若干类型的总线结构(诸如系统总线、pci总线、ieee1394总线、usb总线等等)中的一种或多种。

出于示例性目的，程序和其它可执行程序部件在本文作为离散块体示出，但应当理解，此类程序和部件可驻留在计算装置150的不同存储部件中的各个时间，并由一个或多个处理器152执行。或者，本文所述的系统和程序可通过硬件来实现，或通过硬件、软件和/或固件的组合来实现。例如，可对一种或多种专用集成电路(asic)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。

图2a示出了在滚动读出模式或在传感器读出200期间使用的传感器的操作循环。帧读出可在竖直线210处开始并且可由该竖直线表示。读出周期由对角线或斜线202表示。传感器可逐行读出，向下倾斜边缘的顶部为传感器顶行212，向下倾斜边缘的底部为传感器底行214。在最后一行读出和下一读出循环之间的时间可被称为消隐时间216。应当指出，传感器像素行中的一些可覆盖有光屏蔽件(例如，金属涂层或另一种材料类型的任何其它大体上黑色的层)。这些被覆盖的像素行可被称为光学黑色行218和220。光学黑色行218和220可用作校正算法的输入。如图2a中所示，这些光学黑色行218和220可位于像素阵列的顶部上或像素阵列的底部或像素阵列的顶部和底部。图2b示出了控制曝光至像素从而被像素集成或聚积的电磁辐射(例如，光)的量的方法。应当理解，光子是电磁辐射的基本粒子。光子被每个像素集成、吸收或累积并转换为电荷或电流。电子快门或卷帘式快门(点划线222所示)可用于通过复位像素来开始集成时间。然后光将集成直到下一读出阶段为止。电子快门222的位置可在两个读出循环202之间移动，以便控制给定量的光的像素饱和度。应当指出，该技术允许在两个不同行之间的集成时间恒定，但在从顶行移动到底行时引入延迟。图2c示出了电子快门222已被移除的情况。在该配置中，入射光的集成可在读出202期间开始，并且可在下一读出循环202处结束，该下一读出循环也限定下一集成的开始。图2d示出了没有电子快门222但在消隐时间216期间具有受控和脉冲光230的配置。这确保所有行看到的光与从相同光脉冲230发出的光相同。换句话讲，每行将在黑暗环境中开始其集成，这可位于读出帧(m)的光学黑色后行220以获得最大的光脉冲宽度，并且然后将接收光通并且将在黑暗环境中结束其集成，这可位于下一后续读出帧(m+1)的光学黑色前行218以获得最大的光脉冲宽度。在例如图2d中，由光脉冲生成的图像将仅在帧(m+1)读出期间可用，而不会干扰帧(m)和帧(m+2)。应当指出，使光脉冲仅在一个帧中读出并且不干扰相邻帧的条件是在消隐时间216期间击发给定的光脉冲。因为光学黑色行218、220对光不敏感，所以可将帧(m)的光学黑色后行220时间和帧(m+1)的光学黑色前行218时间添加至消隐时间216，以确定光脉冲230的击发时间的最大范围。如图2a所示，传感器可循环多次以接收每种脉冲颜色或波长(例如，电磁光谱上的红色、绿色、蓝色或其它波长)的数据。每个循环可以是定时的。在一个实施方案中，循环可定时以在16.67ms的间隔内操作。在另一个实施方案中，循环可定时以在8.3ms的间隔内操作。应当理解，本公开设想了其它的定时间隔，并且旨在落入本公开的范围内。

图3以图形方式示出了电磁发射器的实施方案的操作。发射器可定时以对应于传感器的循环，使得电磁辐射在传感器操作循环内和/或传感器操作循环的一部分期间发射。图3示出了302处的脉冲1、304处的脉冲2和306处的脉冲3。在一个实施方案中，发射器可在传感器操作循环的读出部分202期间脉冲。在一个实施方案中，发射器可在传感器操作循环的消隐部分216期间脉冲。在一个实施方案中，发射器可脉冲持续时间，该持续时间在两个或更多个传感器操作循环的部分期间。在一个实施方案中，发射器可在消隐部分216期间或在读出部分202的光学黑色部分220期间开始脉冲，并且在读出部分202期间或下一后续循环的读出部分202的光学黑色部分218期间结束脉冲。应当理解，只要发射器的脉冲和传感器的循环相对应，上述的任何组合旨在落入本公开的范围内。

图4以图形方式表示改变发射的电磁脉冲(例如，在402处的脉冲1、在404处的脉冲2、在406处的脉冲3)的持续时间和量值以控制曝光。具有固定输出量值的发射器可在上文结合图2d和图3所述的任何循环期间脉冲一定间隔，以向像素阵列提供所需的电磁能量。具有固定输出量值的发射器可在较长的时间间隔内脉冲，从而为像素提供更多的电磁能量，或者发射器可在较短的时间间隔脉冲，从而提供较少的电磁能量。是否需要较长或较短的时间间隔取决于操作条件。

与调节发射器脉冲固定输出量值的时间间隔相比，可增大发射量值本身以便向像素提供更多的电磁能量。类似地，减小脉冲的量值可为像素提供较少的电磁能量。应当指出，如果需要的话，系统的实施方案可具有同时调节量值和持续时间的能力。另外，可调节传感器以根据最佳图像质量的需要来增加其灵敏度和持续时间。图4示出了改变脉冲的量值和持续时间。在图示中，402处的脉冲1具有比404处的脉冲2或406处的脉冲3更高的量值或强度。另外，402处的脉冲1具有比在404处的脉冲2或406处的脉冲3更短的持续时间，使得由该脉冲提供的电磁能量由图示中所示脉冲下的面积示出。在图示中，当与402处的脉冲1或406处的脉冲3相比时，404处的脉冲2具有相对低的量值或强度和较长的持续时间。最后，在图示中，当与402处的脉冲1和404处的脉冲2相比时，406处的脉冲3具有中间量值或强度和持续时间。

图5为根据本公开的原理和教导内容的组合图2至图4的操作循环、电磁发射器和发射的电磁脉冲以在操作期间显示成像系统的本公开的实施方案的图形表示。如在图中可见，电磁发射器主要在传感器的消隐周期216期间脉冲辐射，使得像素将被充电并且在传感器循环的读出部分202期间准备读取。脉冲中的点划线部分(来自图3)示出了在需要或期望额外时间来脉冲电磁能量的情况下，在读取循环(传感器循环)200的光学黑色部分220和218期间发射电磁能量的可能性或能力。

现在参见图6至图9a，图6示出了在从t(0)到t(1)的时间周期内用于记录全光谱光和分区光谱光的视频帧的两个不同方法的示意图。应当指出，颜色传感器具有滤色器阵列(cfa)，用于滤除通常用于全光谱光接收的每像素某些波长的光。cfa的示例是拜耳图案。由于颜色传感器可包括阵列内的像素，该像素对整个光谱内的单个颜色敏感，因此由于像素阵列具有仅专用于整个光谱内的单个颜色的光的像素空间而导致分辨率降低的图像。通常，此类布置形成在跨整个阵列的棋盘型图案中。

相比之下，当使用分区的光谱时，可使传感器对所有光能量的量值敏感或有响应，因为将指示像素阵列感测来自每个循环中的电磁能量的全光谱的预定分区的电磁能量。因此，为了形成图像，传感器仅需要从全光谱内的多个不同分区循环，然后重新组装图像以显示阵列中每个像素的色值的预定混合物。因此，还提供了较高分辨率的图像，因为与颜色脉冲中的每个具有相同颜色灵敏度的像素中心之间的拜耳传感器相比，距离减小。因此，所形成的彩色图像具有更高的调制传递函数(mtf)。由于来自每个颜色分区帧循环的图像具有更高的分辨率，因此当将分区的光帧合并为全色帧时产生的所得图像也具有更高的分辨率。换句话讲，因为阵列内的每个像素(而不是至多，具有滤色器的传感器中的每隔一个像素)感测给定脉冲和给定场景的能量的幅值，仅相隔一段时间，因此针对需要引入较少的导出(较不准确)的数据的每个场景产生较高分辨率的图像。

例如，白色或全光谱可见光是红光、绿光和蓝光的组合。在图6中所示的实施方案中，可以看出，在分区光谱方法620和全光谱方法610中，捕获图像的时间为t(0)至t(1)。在全光谱方法610中，在612处发射白光或全光谱电磁能量。在614处，感测白色或全光谱电磁能量。在616处，处理并显示图像。因此，在时间t(0)和t(1)之间，图像已被处理和显示。相反，在分区光谱方法620中，在622处发射第一分区并在624处进行感测。在626处，发射第二分区，并且然后在628处进行感测。在630处，发射第三分区，并且在632处进行感测。在634处，处理并显示图像。应当理解，使用比白光循环快至少两倍的图像传感器循环的任何系统都旨在落入本公开的范围内。

如在图6中所示的实施方案中在时间t(0)和t(1)之间可图形地看出，用于分区光谱系统620的传感器对全光谱系统中的每个循环了三次。在分区光谱系统620中，三个传感器循环中的第一个用于绿色光谱622和624，三个传感器循环中的第二个用于红色光谱626和628，而第三个用于蓝色光谱630和632。因此，在其中显示装置(lcd面板)以每秒50-60帧操作的实施方案中，分区光系统应当以每秒150-180帧操作，以保持所显示视频的连续性和平滑度。

在其它实施方案中，可存在不同的捕获和显示帧速率。此外，平均捕获速率可以是显示速率的任何倍数。

在一个实施方案中，可能期望并非所有分区在系统帧速率内均相等地表示。换句话讲，并非所有光源都必须以相同的规律性脉冲，以便根据用户的需要来强调和取消强调所记录场景的各个方面。还应当理解，电磁频谱的不可见分区和可见分区可在系统内脉冲到一起，其中它们的相应数据值被接合(stitch)到视频输出中，以用于向用户显示。

实施方案可包括如下脉冲循环图案：

i.绿色脉冲；

ii.红色脉冲；

iii.蓝色脉冲；

iv.绿色脉冲；

v.红色脉冲；

vi.蓝色脉冲；

vii.红外(ir)脉冲；

viii.(重复)

如在示例中可见，红外分区或特定波长分区(例如，513nm-545nm、565nm-585nm和/或900nm-100nm)可以与其它分区脉冲的速率不同的速率脉冲。这样做可强调场景的某个方面，其中ir数据仅与视频输出中的其它数据重叠以做出期望的强调。应当指出，在红色、绿色和蓝色分区的顶部上方添加电磁分区并不一定要求序列化的系统以全光谱非串行系统的速率的四倍操作，因为每个分区不必在脉冲图案中相等地表示。如在该实施方案中所见，添加在脉冲图案(上述示例中的红外)中表示更少的分区脉冲将导致传感器的循环速度增加小于20％，以便适应不规则的分区取样。

在各种实施方案中，脉冲循环图案可以任何合适的顺序包括以下波长中的任一个。此类波长可特别适用于确定多光谱或超光谱图像数据或适用于基于荧光试剂弛豫发射确定图像数据：

i.465±5nm；

ii.533±4nm；

iii.638±5nm；

iv.780±5nm；

v.805±5nm；

vi.975±5nm；

vii.577±2nm；或

viii.523±4nm。

在一个实施方案中，可发射对用于突出场景的各方面的染料或材料敏感的电磁分区。在该实施方案中，在不需要高分辨率的情况下，可足够突出显示染料或材料的位置。在此实施方案中，染料敏感电磁分区可循环得频率远低于系统中的其它分区，以便包括所强调的数据。

可将分区循环划分为适应或近似各种成像和视频标准。在一个实施方案中，分区循环可包括如下如图7a至图7d中最佳地示出的红色、绿色、蓝色光谱中的电磁能量的脉冲。在图7a中，已通过在由竖直灰色虚线所示的工作范围内调制光脉冲宽度或持续时间来实现不同的光强度。在图7b中，已通过调制光功率或电磁发射器(其可为激光器或led发射器)的功率，但保持脉冲宽度或持续时间恒定来实现不同的光强度。图7c示出了光功率和光脉冲宽度均被调制从而得到更大灵活性的情况。分区循环可使用cmy、ir和紫外线，其使用与可见脉冲源混合的不可见脉冲源以及产生图像所需的任何其它色彩空间或近似于当前已知或尚未开发的所需视频标准。还应当理解，系统能够在运行中的色彩空间之间切换以提供所需图像输出质量。

在使用色彩空间绿色-蓝色-绿色-红色(如图7d中所示)的实施方案中，可能期望比色度分量更频繁地脉冲亮度分量，因为用户通常对光量值差异比对光色差更敏感。可使用如图7d中所示的单色传感器来利用该原理。在图7d中，包含最多亮度信息的绿色可在(g-b-g-r-g-b-g-r……)方案中更频繁地脉冲或具有更大强度以获得亮度数据。此类配置将创建具有可察觉的更多细节的视频流，而不创建和传输不可察觉的数据。

在一个实施方案中，复制较弱分区的脉冲可用于产生已针对较弱脉冲进行调节的输出。例如，认为蓝色激光相对于硅基像素的灵敏度弱，并且与红光或绿光相比，蓝色激光难以产生，因此可在帧循环期间更频繁地脉冲以补偿光的弱性。这些附加脉冲可随时间推移连续地完成，或者通过使用多个激光器同时脉冲以产生所需补偿效果。应当注意，通过在消隐周期(在此期间传感器不读出像素阵列的时间)期间脉冲，传感器对同一种类的激光器之间的差异/失配不敏感，并且简单地聚积光以用于期望的输出。在另一个实施方案中，最大光脉冲范围可能从帧到帧是不同的。这在图7e中示出，其中光脉冲从帧到帧是不同的。传感器可被构建成能够以2帧或3帧或4帧或n帧的重复图案对不同消隐时间进行编程。在图7e中，示出了4个不同的光脉冲，并且脉冲1可例如在脉冲4之后重复，并且可具有消隐时间不同的4帧的图案。该技术可用于将最大功率的分区放置于最小消隐时间上，并且因此允许最弱的分区在后续帧中的一帧上具有更宽的脉冲而无需增加读出速度。重建帧仍可具有帧到帧的规则图案，因为其由许多脉冲帧构成。

如在图8中可见，因为光的每个分区光谱可具有不同的能量值，所以可调节传感器和/或光发射器以补偿能量值的差异。在810处，可分析从来自先前帧的直方图获得的数据。在820处，可如下所述调节传感器。另外，在830处，可调节发射器。在840处，可从来自传感器的经调节的样本时间来获取图像，或者可利用经调节的(增加或减少的)发射光、或上述的组合来获取图像。例如，因为红光光谱比蓝光光谱更容易由系统内的传感器检测到，所以可将传感器调节为在红色分区循环期间不太敏感，并且在蓝色分区循环期间更敏感，因为蓝色分区相对于硅具有低量子效率(在图9中最佳地示出)。类似地，可调节发射器以提供经调节的分区(例如，更高或更低的强度和持续时间)。此外，可在传感器和发射器水平两者上进行调节。如果特定应用需要，发射器还可被设计成以一个特定频率发射，或者可被改变成发射特定分区的多个频率，以放宽所发射的光的光谱。

图10示出了未共享4t像素的示意图。tx信号用于将聚积的电荷从光电二极管(ppd)转移到浮动扩散(fd)。复位信号用于将fd复位到复位总线。如果复位信号和tx信号同时“通”，则ppd不断地复位(ppd中生成的每个光电荷在复位总线上直接收集)，并且ppd总是空的。常见的像素阵列具体实施包括附接一行内所有像素的复位信号的水平复位行以及附接一行内所有像素的tx信号的水平tx行。

在一个实施方案中，示出了传感器灵敏度调节的定时，并且可使用全局复位机制(即，一次激发所有像素阵列复位信号的装置)和全局tx机制(即，一次激发所有像素阵列tx信号的装置)来实现传感器灵敏度调节。这示出于图11中。在这种情况下，光脉冲的持续时间和振幅是恒定的，但在所有像素中集成的光以全局tx的“通”到“断”转变开始，并且以光脉冲结束。因此，通过移动全局tx脉冲的下降沿来实现调制。

反之，发射器可发射强度低于蓝光的红光，以产生正确曝光的图像(在图12中最佳地示出)。在1210处，可分析从来自先前帧的直方图获得的数据。在1220处，可调节发射器。在1230处，可从经调节的发射光获得图像。另外，在一个实施方案中，可同时调节发射器和传感器两者。

在一些实施方案中，将分区光谱帧重构为全光谱帧以供稍后输出可与共混阵列中的每个像素的感测值一样简单。另外，值的共混和混合可以是简单的平均值，或者可以被调谐到用于所需输出的预先确定的查找表(lut)的值。在使用分区光谱的系统的实施方案中，感测值可由图像或辅助处理器从传感器远程后处理或进一步细化，并且恰好在将其输出到显示器之前。

图13示出了在1300处的单色isp的基本示例，以及isp链可如何被组装以用于从在g-r-g-b光脉冲方案的存在下产生的原始传感器数据生成srgb图像序列的目的。

第一阶段涉及进行校正(参见图13中的1302、1304和1306)以考虑传感器技术中最适合在原始数据域中工作的任何非理想因素(参见图21)。

在下一阶段，将缓冲两个帧(参见图13中的1308和1310)，因为每个最终帧从三个原始帧导出数据。在1314处的帧重建将通过对来自当前帧和两个缓冲帧(1308和/或1310)的数据进行采样来继续。重建过程在线性rgb色彩空间中导致全色帧。

在该示例中，在1322处转换为ycbcr空间之前，应用1318处的白平衡系数和1320处的颜色校正矩阵，以用于1324处的后续边缘增强。在1324处边缘增强之后，在1326处将图像转换回线性rgb以用于在1328处进行缩放(如果适用的话)。

最后，在1330处将应用γ传递函数以在1332处将数据转换成srgb域。

图14是颜色融合硬件的实施方案示例。颜色融合硬件在1402处获取rgbgrgbgrgbg视频数据流，并在1405处将其转换为并行rgb视频数据流。输入侧上的位宽度可为例如每种颜色12位。该示例的输出宽度将为每个像素36位。其它实施方案可具有不同的初始位宽度和3倍于输出宽度的数。在1402处，存储器写入器块将rgbg视频流作为其输入，并在1404处将每个帧写入其正确的帧存储器缓冲器(存储器写入器触发与使激光源运行的脉冲发生器相同的脉冲发生器1410)。如在1404处所示，写入存储器遵循图案红色、绿色1、蓝色、绿色2，然后再次以红色开始返回。在1406处，存储器读取器一次读取三个帧以构造rgb像素。每个像素是单个颜色分量的位宽度的三倍。在1410处，读取器还触发激光脉冲发生器。读取器等待直到已写入红色、绿色1和蓝色帧，然后继续将其并行读出，同时写入器继续写入绿色2并开始返回红色。当红色完成时，读取器开始从蓝色、绿色2和红色读取。该图案无限期地继续。

现在参见图15和图16所示，在一个实施方案中，图16中所示的rg1bg2rg1bg2图案重建允许60fps输出和120fps输入。每个连续帧含有来自先前帧的红色分量或蓝色分量。在图16中，每个颜色分量在8.3ms内可用，并且所得的重建帧具有16.67ms的周期。一般来讲，对于该脉冲方案，重建帧具有的周期是图15中所示的输入彩色帧的周期的两倍。在其它实施方案中，可采用不同的脉冲方案。例如，实施方案可以基于每个颜色分量或帧(t1)的定时，并且重建帧具有的周期是输入彩色帧的周期的两倍(2×t1)。序列内的不同帧可具有不同帧周期，并且平均捕获速率可为最终帧速率的任何倍数。

图17至图20示出了与分区光系统一起使用的颜色校正方法和硬件示意图。在数字成像中常见的是调控图像数据内的值以校正输出，从而满足用户的期望或突出显示成像对象的某些方面。最常见地，这在卫星图像中完成，这些卫星图像被调谐和调节以强调一种数据类型超过另外的数据类型。最常见地，在卫星获取的数据中存在可用的电磁能量的全光谱，因为光源不受控制，即，太阳是光源。相比之下，存在其中光受控并且甚至由用户提供的成像条件。在这种情况下，图像数据的校准仍然是期望的，因为在没有校准的情况下，可能会给予某些数据超过其它数据的不正确的强调。在其中光由用户控制的系统中，提供用户已知，并且可仅为电磁光谱的一部分或全电磁光谱的多个部分的光发射是有利的。校准对于满足用户的期望并检查系统内的故障仍然很重要。一种校准方法可以是可与来自传感器的数据进行比较的给定成像条件的预期值表。一个实施方案可包括具有应由成像装置输出的已知值的中性颜色场景，并且当装置对中性颜色场景进行采样时，可调节装置以满足这些已知值。

在使用中，并且在启动时，系统可通过在1702处运行多个电磁光谱分区的全循环来在1710处对中性颜色场景进行采样(如图17中所示)。可形成值表1708以在1704处产生帧的直方图。在1706处，可将帧的值与来自中性颜色场景的已知值或预期值进行比较。然后可在1712处调节成像装置以满足所需的输出。在图17中所示的实施方案中，系统可包括图像信号处理器(isp)，可调节该图像信号处理器以对成像装置进行颜色校正。

应当指出的是，因为光的每个分区光谱可具有不同的能量值，所以可调节传感器和/或光发射器以补偿能量值的差异。例如，在一个实施方案中，因为蓝光光谱相对于硅基成像器具有比红光光谱更低的量子效率，所以随后可将传感器的响应性调节为在红色循环期间响应较少并且在蓝色循环期间响应较多。相反，由于蓝光的量子效率低于红光，所以发射器可以高于红光的强度发射蓝光，以产生正确曝光的图像。

在图18中所示的实施方案中，在系统提供并控制光源发射的情况下，可对这些光发射进行调节以在1800处对图像进行颜色校正。可对发射光的任何方面进行调节，诸如量值、持续时间(即，接通时间)或在光谱分区内的范围。另外，在一些实施方案中，可同时调节发射器和传感器两者，如图19中所示。

为了减少输出图像流或视频内的噪声和人工痕迹的量，可对系统内的传感器或发射器进行分级调节，如在图20中可见。图20中示出了系统2000，其中发射器2006和传感器2008均可进行调节，但也设想了其中在使用期间或针对使用的一部分调节发射器或传感器中的一者的成像装置，并且该成像装置在本公开的范围内。可能有利的是，在使用的一部分期间调节仅发射器并且在使用的另一部分期间调节仅传感器，同时在使用的一部分期间同时还进一步调节两者。在上述实施方案的任一种中，可通过限制系统可在帧循环之间进行的总体调节来获得改善的图像质量。换句话讲，可限制一个实施方案，使得在帧之间的任何时间处仅可调节发射器操作范围的一部分。同样，可限制传感器，使得在帧之间的任何时间处仅可调节其操作范围的一部分。此外，在一个实施方案中可限制发射器和传感器两者，使得在帧之间的任何时间处仅可一起调节发射器和传感器的相应操作范围的一部分。

在示例性实施方案中，系统内的部件的分级调节可例如在部件的操作范围的约0.1db下执行，以校正先前帧的曝光。0.1db仅仅是示例，并且应当指出，在其它实施方案中，部件的允许调节可以是其相应操作范围的任何部分。系统的部件可通过通常由部件输出的位数(分辨率)控制的强度或持续时间调节来改变。部件分辨率通常可介于约10位至24位的范围之间，但不应限于该范围，因为其旨在包括除了当前可用的那些之外尚待开发的器件的分辨率。例如，在第一帧之后，确定场景在被观察时太蓝，则可通过如上所述的分级调节(诸如约0.1db)来调节发射器以在系统的蓝色循环期间减少蓝光的脉冲量值或持续时间。

在该示例性实施方案中，可能需要超过10％，但系统已将其自身限制为每个系统循环调节0.1db的操作范围。因此，如果需要的话，则可在下一系统循环期间再次调节蓝光。循环之间的分级调节可具有输出图像的阻尼效应，并且当以其操作极限操作发射器和传感器时分级调节将减少噪声和人工痕迹。可确定部件的操作调节范围的任何分级量都可用作限制因素，或者可确定系统的某些实施方案可包括可在其整个操作范围内调节的部件。

另外，任何图像传感器的光学黑色区可用于帮助图像校正和降噪。在一个实施方案中，可将从光学黑色区读取的值与传感器的有效像素区域的那些值进行比较，以建立将用于图像数据处理的参考点。图21示出了可在颜色脉冲系统中采用的传感器校正方法的种类。cmos图像传感器通常具有多个非理想因素，这些非理想因素对图像质量具有不利影响，尤其是在低光照下。其中主要的是固定图案噪声和行噪声。固定图案噪声是感测元件的偏移中的色散。通常，fpn中的大多数是像素间色散，其源于从光电二极管到光电二极管的暗电流的随机变化以及其它来源。对于观察者来说这看起来非常不自然。甚至更值得注意的是列fpn，其由与像素的特定列相关联的读出链中的偏移导致。这在图像内导致感知到的竖直条纹。

完全控制照明具有以下有益效果：可周期性地采集整个暗数据帧并将其用于校正像素偏移和列偏移。在例示的示例中，可使用单个帧缓冲器在没有光的情况下使用例如简单的指数平滑滤波对整个帧进行滑动平均。在常规操作期间，将从每个照明帧中减去该暗平均帧。

行噪声是每行内的像素偏移的随机时间变化。由于它是时间性的，因此必须针对每行和每个帧重新计算校正。为此，通常在阵列中的每行内存在许多光盲(ob)像素，必须首先对这些像素进行采样以在对光敏像素进行采样之前评估行偏移。然后在行噪声校正过程中简单地减去行偏移。

在图21中的示例中，存在涉及按正确顺序获得数据、监测和控制模拟域(黑箝)中的电压偏移以及识别/校正各个缺陷像素的其它校正。

图22和图23示出了用于增加密闭环境或有限光照环境内的动态范围的方法和硬件示意图。在一个实施方案中，曝光输入可随时间推移以不同水平输入，并且组合以产生更大的动态范围。如在图22中可见，成像系统可在2202处以第一强度循环第一循环，然后在2204处以第二强度循环第二循环，然后通过在2206处将这些第一循环和第二循环组合成单个帧，使得可实现更大的动态范围。由于其中使用成像装置的空间环境有限，因此更大的动态范围可能是特别期望的。在除了由光源提供的光之外缺光或黑暗的有限空间环境中，并且在光源靠近光发射器的情况下，暴露与距离具有指数关系。例如，靠近光源和成像装置的光学开口的对象趋于曝光过度，而距离更远的对象因为存在极少(任何)的环境光而趋于曝光极度不足。

如在图23中可见，在多个分区中具有电磁能量发射的系统的循环可根据2300处的电磁光谱的分区连续地循环。例如，在发射器在不同的红色分区、不同的蓝色分区和不同的绿色分区中发射激光的实施方案中，将被组合的两个循环数据集可以为以下形式：

i.在2302处强度为一的红色，

ii.在2304处强度为二的红色，

iii.在2302处强度为一的蓝色，

iv.在2304处强度为二的蓝色，

v.在2302处强度为一的绿色，

vi.在2304处强度为二的绿色。

另选地，系统可以如下形式循环：

i.在2302处强度为一的红色，

ii.在2302处强度为一的蓝色，

iii.在2302处强度为一的绿色，

iv.在2304处强度为二的红色，

v.在2304处强度为二的蓝色，

vi.在2304处强度为二的绿色。

在此类实施方案中，第一图像可从强度一值导出，并且第二图像可从强度二值导出，然后在2310处而不是在其组成部件处组合或处理为完整图像数据集。

在本发明的范围内可以设想，可以任何顺序使用任何数量的发射分区。如图23中所示，“n”用作表示任何数量的电磁分区的变量，“m”用作表示“n”分区的任何水平的强度。此类系统可以如下形式循环：

i.在2306处强度为m的n，

ii.强度为m+1的n+1，

iii.强度为m+2的n+2，

iv.在2308处强度为m+j的n+i。

因此，可使用任何序列化循环图案来产生所需图像校正，其中“i”和“j”为成像系统的操作范围内的附加值。

为了使颜色再现的保真性最大化，数字彩色相机包含图像处理阶段。这通过称为颜色校正矩阵(ccm)的3×3矩阵来实现：

ccm中的项使用一组参考颜色(例如，来自macbeth图表)进行调谐，以提供与srgb标准色彩空间的最佳总体匹配。对角线项a、e和i有效地为白平衡增益。然而，通常，单独施加白平衡，并且横排的总和被约束为单位增益，以便ccm本身不施加净增益。非对角线项有效地处理输入通道中的颜色串扰。因此，拜耳传感器具有比3芯片相机更高的非对角线，因为滤色器阵列在信道之间具有大量响应叠层。

颜色校正存在信噪比罚分，其取决于非对角线项的量值。具有与srgb分量完全匹配的通道的假设传感器将具有识别矩阵ccm：

在这种情况下，对于10,000e/像素的纯白光子信号(忽略读取噪声)，在绿色通道中评估的信噪比将为：

任何偏离都会降低snr。采用例如以下ccm，其具有对于拜耳cmos传感器而言并不罕见的值：

在这种情况下，绿色snr：

图24示出了在使用识别矩阵与调谐ccm的情况下，针对典型拜耳传感器ccm使用d65照明的全snr模拟的结果。由于颜色校正的结果，针对亮度分量评估的snr差约6db。

本发明所述的系统使用多个离散波长下的单色照明，因此本身不存在颜色串扰。图25中的十字表示可经由激光二极管源获得的三个波长(465nm、532nm和639nm)的位置，与三角形表示的srgb色域进行比较。

与拜耳传感器相比，ccm的非对角线项在这种情况下显著减小，这提供了显著的snr优势。

图26示出了具有由图像传感器的像素阵列的像素配置提供的增大的动态范围的成像系统。从图中可以看出，相邻像素2602和2604可以不同的灵敏度设置，使得每个循环包括由相对于彼此更敏感和更不敏感的像素产生的数据。由于可在阵列的单个循环中记录多个灵敏度，因此动态范围可在并行记录的情况下增大，这与其它实施方案的时间相关的串行性质相反。

在一个实施方案中，阵列可包括可基于其灵敏度成行放置的像素行。在一个实施方案中，基于那些灵敏度，不同灵敏度的像素可以相对于其最近的相邻像素在行或列内交替，以在整个阵列中形成棋盘图案。上述可通过任何像素电路共享布置或以任何独立的像素电路布置来实现。

宽动态范围可通过具有多个全局tx来实现，每个tx仅在不同的像素组上击发。例如，在全局模式下，全局tx1信号正在击发像素组1，全局tx2信号正在激发像素组2……全局txn信号正在激发像素组n。

基于图11，图27a示出了像素阵列中2种不同像素灵敏度(双像素灵敏度)的定时示例。在这种情况下，全局tx1信号击发阵列的像素的一半，全局tx2击发像素的另一半。因为全局tx1和全局tx2具有不同的“通”至“断”边缘位置，所以集成光在tx1像素和tx2像素之间是不同的。图27b示出了用于双像素灵敏度的定时的不同实施方案。在这种情况下，光脉冲被调制两次(脉冲持续时间和/或振幅)。tx1像素对p1脉冲集成，并且tx2像素对p1+p2脉冲集成。分离全局tx信号可以多种方式进行。以下为实例：

i.从每行中区分tx行；以及

ii.每行发送多个tx行，每个tx行寻址不同的像素组。

在一个具体实施中，描述了一种提供宽动态范围视频的装置，该装置利用本公开中描述的颜色脉冲系统。其基础是在同一单色阵列内具有多种特点的像素或可以不同方式调谐的像素，这些像素能够在同一帧内集成不同持续时间的入射光。此类传感器的阵列中的像素布置的示例将始终是均匀的棋盘图案，具有两个独立可变的集成时间。对于这种情况，可以在同一帧内提供红色和蓝色信息两者。事实上，可以在扩展绿色帧的动态范围的同时这样做，此时最需要绿色帧的动态范围，因为可以逐帧地调节两个集成时间。有益效果是，如果所有数据都来源于两个帧而不是三个帧，则颜色运动人工痕迹不是问题。当然，红色和蓝色数据的空间分辨率存在随后损失，但与绿色相比，那对图像质量的影响较小，因为亮度分量由绿色数据主导。

单色宽动态范围(wdr)阵列的固有特性是具有长集成时间的像素必须集成由短集成时间像素所见的光的超集。对于绿色帧中的常规宽动态范围操作，这是期望的。对于红色帧和蓝色帧，这意味着必须结合曝光周期来控制脉冲，以例如从长曝光开始提供蓝光，并且在短曝光像素接通的点处切换为红光(两种像素类型的电荷同时转移)。

在颜色融合阶段，将两种特点的像素分到两个缓冲器中。然后使用例如线性插值来填充空像素。此时，一个缓冲器包含蓝色数据的完整图像，而另一个包含红色+蓝色。可从第二缓冲器中减去蓝色缓冲器以给出纯红色数据。

图28a至图28c示出了脉冲和/或同步或保持恒定的白光发射以及对应的颜色传感器的使用。如在图28a中可见，白光发射器可被配置为在对应传感器的消隐周期期间发射光束，以在受控光环境中提供受控光源。光源可发射恒定量值的光束并改变脉冲的持续时间，如图28a中所示，或者可在改变量值的情况下保持脉冲恒定，以实现正确曝光的数据，如图28b所示。图28c中示出的是可以用由传感器控制并与传感器同步的变化电流调制的恒定光源的图形表示。

在一个实施方案中，如果需要，白光或多光谱光可作为脉冲发射，以提供在系统内使用的数据(在图28a至图28c中最佳地示出)。与电磁光谱的分区结合的白光发射可用于强调和不强调场景内的某些方面。此类实施方案可使用如下脉冲图案：

i.绿色脉冲；

ii.红色脉冲；

iii.蓝色脉冲；

iv.绿色脉冲；

v.红色脉冲；

vi.蓝色脉冲；

vii.白光(多光谱)脉冲；

viii.(重复)

使用比白光循环快至少两倍的图像传感器循环的任何系统都旨在落入本公开的范围内。应当理解，本文设想了电磁光谱的分区的任何组合，无论其来自全电磁光谱的可见光谱还是不可见光谱。

图29a和图29b分别示出根据本公开的教导和原理的单片传感器2900的具体实施的透视图和侧视图，该单片传感器具有多个像素阵列用于产生三维图像。此类具体实施可能是三维图像捕获所期望的，其中在使用期间两个像素阵列2902和2904可被偏移。在另一个具体实施中，第一像素阵列2902和第二像素阵列2904可专用于接收预先确定的波长范围的电磁辐射，其中该第一像素阵列专用于与该第二像素阵列不同波长范围的电磁辐射。

图30a和图30b分别示出了构建在多个基板上的成像传感器3000的具体实施的透视图和侧视图。如图所示，形成该像素阵列的多个像素列3004位于第一基板3002上并且多个电路列3008位于第二基板3006上。图中还示出了一个像素列与其相关联的或对应的电路列之间的电连接和通信。在一个具体实施中，图像传感器可具有与全部或大部分支撑电路分开的像素阵列，而其可能以其它方式被制造成它的像素阵列和支撑电路处于单个、单片基板/芯片上。本公开可使用至少两个基板/芯片，这些基板/芯片将使用三维堆叠技术被堆叠在一起。两个基板/芯片中的第一个3002可使用图像cmos工艺加工。第一基板/芯片3002可仅仅由像素阵列构成，或可由被有限电路围绕的像素阵列构成。第二或后续基板/芯片3006可使用任何工艺加工，而不是必须来自图像cmos工艺。第二基板/芯片3006可以是但不限于，为了将各种和多个功能集成到基板/芯片上非常有限空间或面积中的高密度数字工艺、或为了集成例如精确模拟功能的混合模式或模拟工艺、或为了实现无线能力的rf工艺、或为了集成mems器件的mems(微电子机械系统)。图像cmos基板/芯片3002可使用任何三维技术与第二或后续基板/芯片3006堆叠。第二基板/芯片3006可支撑将可能另外在第一图像cmos芯片3002中实现(如果在单片基板/芯片上实现)为外围电路的电路的绝大部分或大部分，并且因此当保持像素阵列大小恒定并尽最大可能优化时增加了整个系统面积。两个基板/芯片之间的电连接可通过互联器3003和3005完成，这些互联器可为接合引线、凸耳和/或tsv(硅通孔)。

图31a和图31b分别示出了具有多个像素阵列用于产生三维图像的成像传感器3100的具体实施的透视图和侧视图。三维图像传感器可被构建在多个基板上并且可包括多个像素阵列和其它相关联的电路，其中形成第一像素阵列的多个素列3104a和形成第二像素阵列的多个像素列3104b分别位于相应的基板3102a和3102b上，并且多个电路列3108a和3108b位于单独的基板3106上。还示出了像素列与相关联的或对应的电路列之间的电连接和通信。

应当理解，本公开的教导和原理可用于可重复使用的装置平台、有限使用的装置平台、可重新设置使用的装置平台或单次使用/一次性的装置平台，而不脱离本公开的范围。应当理解，在可重复使用的装置平台中，最终使用人负责该装置的清洁和消毒。在有限使用的装置平台中，在变得不能操作之前，装置可被使用一些规定量的次数。典型的新装置在交付前已经过无菌处理，如果要用作其它用途，应在其它使用之前由最终用户进行清洗和消毒。在可重新设置使用的装置平台中，第三方可重新处理装置(例如，清洁、包装和消毒)单次使用的装置，以比新单元更低的成本用于另外使用。在单次使用/一次性的装置平台中，提供无菌装置至手术室并且在被处置掉之前只能使用一次。

发射器的一个实施方案可采用机械快门和滤光器来产生脉冲颜色光。如图32中所示，提供了使用白色光源以及机械滤色器和快门系统3200来产生脉冲颜色光的另选方法。转轮可包含半透明滤色器窗口和用于遮挡的不透明部分的图案。不透明部分将不允许光通过并且将产生可能发生传感器读出的暗度周期。白光源可基于任何技术：激光、led、氙、卤素、金属卤化物或其它技术。白光可通过所需彩色光脉冲图案的一系列滤色器3207、3209和3211投影。一个实施方案的图案可以是红色滤色器3207、绿色滤色器3209、蓝色滤色器3211、绿色滤色器3209。滤光器和快门系统3200可被布置在以所需频率旋转以与传感器同步的转轮上，使得机械滤色器3207、3209和3211以及快门3205系统的拱形长度和旋转速率的知识将为对应的单色图像传感器的操作提供定时信息。

如图33中所示，一个实施方案可包括滤光器转轮3300上的仅半透明滤色器3307、3309和3311的图案。在本配置中，可使用不同的快门。快门可以是机械式的，并且可通过改变其大小来动态地调节“脉冲”持续时间。另选地，快门可以是电子的并且结合到传感器设计中。使滤光器转轮3300旋转的电机将需要与传感器通信或结合传感器进行控制，使得机械滤色器3307、3309和3311系统的拱形长度和旋转速率的知识将为对应的单色图像传感器的操作提供定时信息。控制系统将需要知道用于由传感器捕获的每个帧的正确的滤色器，使得可在isp中正确地重建全彩图像。示出了rgbg的颜色图案，但如果有利的话可使用其它颜色和/或图案。颜色节段的相对尺寸被示出为相等的，但如果有利的话也可进行调节。滤光器的机械结构被示出为旋转移动的圆形，但可为具有线性移动的矩形，或具有不同移动模式的不同形状。

如图34所示，用于脉冲颜色光的实施方案可由机械转轮或圆筒组成，所述机械转轮或圆筒保持红色、绿色、蓝色或白色led的电子器件和散热器。led将以与圆筒或转轮的旋转或扭转速率相关的距离间隔开，以允许按照本专利中的其它实施方案对光脉冲进行定时。转轮或圆筒将使用电动马达以及将转轮或圆筒附接到电动马达的机械托架旋转。电机将使用微控制器、fpga、dsp或将包含用于正确定时的控制算法的其它可编程装置来控制，如本专利中所述。在一侧上将存在机械开口，该机械开口将光学耦合到光纤以使用本专利中所述的方法将纤维传输到范围的末端。该耦合件还可具有机械孔口，该机械孔口可打开和关闭以控制允许沿光纤线缆流下的光量。这将是机械快门装置，另选地可使用设计成cmos或ccd类型传感器的电子快门。该装置在生产中将难以控制和校准，但这是人们可使脉冲光进入我们的系统中的另一种方式。

图35中示出了发射器3502的实施方案，该发射器包括线性滤光器3504和用于提供脉冲电磁辐射的快门机构。线性滤光器3504和快门机构以所需频率水平移动，以过滤适当波长的光。

图36中示出了发射器3602的实施方案，该发射器包括棱镜滤光器3604和用于提供脉冲电磁辐射的快门机构。棱镜滤光器3604过滤光并且递送可包括快门的输出罐。棱镜滤光器3604以所需频率移动以提供正确的颜色输出图案。

另外，本公开的教导和原理可包括任何及所有电磁能量的波长，包括可见和不可见光谱，诸如红外(ir)、紫外(uv)和x射线。

图37是示出了用于向缺光环境(诸如用于内窥镜成像)提供照明的系统3700的示意图。系统3700可与本文所公开的系统、方法或装置中的任一者结合使用。系统3700包括光源3702、控制器3704、跳线波导3706、波导连接器3708、内腔波导3710、内腔3712和具有附带的光学部件(诸如透镜)的图像传感器3714。光源3702生成穿过跳线波导3706和内腔波导3710的光以照明内腔3712的远侧端部处的场景。光源3700可用于发射任何波长的电磁能量，包括可见波长、红外波长、紫外波长或其它波长。可将内腔3712插入患者体内以进行成像，诸如在手术或检查期间。如虚线3716所示输出光。可使用图像传感器3714捕获由光照明的场景并且向医生或一些其它医学人员显示该场景。控制器3704可向光源3702提供控制信号以控制何时向一个场景提供照明。在一个实施方案中，光源3702和控制器3704位于内窥镜所连接的相机控制单元(ccu)或外部控制台内。如果图像传感器3714包括cmos传感器，则可在所谓的消隐期间以图像传感器3714的读出周期之间的一系列照明脉冲周期性地向该场景提供光。因此，光可以受控方式被脉冲，以避免叠层到图像传感器3714的像素阵列中的图像像素的读出周期中。

在一个实施方案中，内腔波导3710包括一根或多根光纤。这些光纤可由低成本材料(诸如塑料)制成，以允许内腔波导3710和/或内窥镜的其它部分的处理。在一个实施方案中，可使用具有500微米的直径的单根玻璃纤维。跳线波导3706可永久性地附接到光源3702。例如，跳线波导3706可从光源3702内的发射器接收光，并且在连接器3708的位置处向内腔波导3710提供光。在一个实施方案中，跳线波导106可包括一个或多个玻璃光纤。跳线波导可包括用于将光引导至内腔波导3710的任何其它类型的波导。连接器3708可将跳线波导3706选择性地耦合到内腔波导3710，并且允许跳线波导3706内的光通过内腔波导3710。在一个实施方案中，内腔波导3710可直接被耦合到光源，而无需任何居间跳线波导3706。

图38至图40是示出了具有多个发射器的光源3800的示意性框图。参照图38，发射器包括第一发射器3802、第二反射器3804和第三发射器3806。可包括附加的发射器，如下文进一步讨论。发射器3802、3804和3806可包括发射具有不同波长的光的一个或多个激光发生器。例如，第一发射器3802可发射与蓝色激光一致的波长，第三发射器3804可发射与绿色激光一致的波长，并且第三发射器3806可发射与红色激光一致的波长。例如，第一发射器3802可包括一个或多个蓝色激光器，第二发射器3804可包括一个或多个绿色激光器，并且第三发射器3806可包括一个或多个红色激光器。激光器3802、3804、3806朝收集区域3808发射激光束，该收集区域可以是波导、镜片或用于收集光和/或向波导(诸如图37的跳线波导3706或内腔波导3710)提供光的其它光学部件的位置。

在已向患者施用有助于识别某些组织、结构、化学反应、生物过程等的试剂或染料的具体实施中，发射器3802、3804和3806可发射用于使试剂或染料发荧光的波长。此类波长可基于施用给患者的试剂或染料来确定。在此类实施方案中，发射器可能需要是高度精确的，以便发射所需波长以使某些试剂或染料发荧光或活化。

在图38的实施方案中，发射器3802、3804、3806各自以不同的角度向收集区域3808递送激光。角度的变化可导致电磁能量在输出波导中的位置的变化。例如，如果光在收集区域3808处立即进入纤维束(玻璃或塑料)中，则变化的角度可导致不同量的光进入不同的纤维。例如，角度可导致横跨收集区域3808的强度变化。此外，来自不同发射器的光可不会被均匀地混合，因此一些纤维可接收不同量的不同颜色的光。不同纤维中的光的颜色或强度的变化可导致场景的非最佳照明。例如，递送光或光强度的变化可在场景和所捕获图像处导致。

在一个实施方案中，居间光学元件可放置在纤维束和发射器3802、3804、3806之间，以在进入纤维或其它波导中之前混合不同颜色(波长)的光。示例性居间光学元件包括漫射器、混合棒、一个或多个镜片，或用于混合光使得给定纤维接收每种颜色(波长)的相同量的其它光学部件。例如，纤维束中的每根纤维可具有相同的颜色。该混合可导致每根纤维中的相同的颜色，但是，在一些实施方案中，仍可导致递送到不同纤维的不同的总亮度。在一个实施方案中，居间光学元件也可在收集区域上传播或均匀地传播光，使得每根纤维携带相同总量的光(例如，光可能在顶帽式轮廓中散开)。漫射器或混合棒可导致光损失。

尽管收集区域3808在图38中表示为物理部件，但收集区域3808可以简单地为递送来自发射器3802、3804和3806的光的区域。在一些情况下，收集区域3808可包括光学部件，诸如漫射器、混合棒、透镜，或处于发射器3802、3804、3806和输出波导之间的任何其它居间光学部件。

图39示出了具有以相同或基本上相同的角度向收集区域3808提供光的发射器3802、3804、3806的光源3800的实施方案。光以基本上垂直于收集区域3808的角度提供。光源3800包括多个二向色镜，包括第一二向色镜3902、第二二向色镜3904和第三二向色镜3906。二向色镜3902、3904、3906包括反射第一波长的光但透射第二波长(或对其透明)的光的镜。例如，第三二向色镜3906可反射由第三发射器提供的蓝色激光，而对第一发射器3802和第二发射器3804各自提供的红光和绿光透明。第二二向色镜3904可对来自第一发射器3802的光透明，但对来自第二发射器3804的光是反射的。如果包括其它颜色或波长，则可选择二向色镜以反射对应于至少一个发射器的光并且对其它发射器透明。例如，第三二向色镜3906反射来自第三发射器3806的光，但对其“后面”的发射器诸如第一发射器3802和第二发射器3804透明。在其中存在数十或数百个发射器的实施方案中，每个二向色镜可反射对应发射器和其前面的发射器，同时对其后面的发射器透明。这可允许数十或数百个发射器以基本上相同的角度将电磁能量发射到收集区域3808。

因为这些二向色镜允许其它波长透射或穿过，这些波长中的每个可从相同的角度和/或以相同的中心点或焦点到达收集区域3808。从相同的角度和/或相同的焦点/中心点提供光可显著改善在收集区域3808处的接收和颜色混合。例如，特定纤维可以接收不同的颜色，这些颜色的比例与它们由发射器3802、3804、3806和镜3902、3904、3906透射/反射的比例相同。与图38的实施方案相比，可在收集区域处显著改善光混合。在一个实施方案中，本文所讨论的任何光学部件可在收集区域3808处使用，以在向纤维或纤维束提供光之前收集光。

图40示出了具有也以相同或大致相同的角度向收集区域3808提供光的发射器3802、3804、3806的光源3800的实施方案。例如，入射在收集区域3808上的光从垂直偏移。角度4002指示从垂直偏移的角度。在一个实施方案中，激光发射器3802、3804、3806可具有高斯横截面强度轮廓。如前所述，纤维之间的光能量的改善的分布可通过形成更平坦或顶帽形的强度轮廓来实现。在一个实施方案中，随着角度4002的增大，横跨收集区域3808的强度接近顶帽式轮廓。例如，通过增大角度4002直到轮廓足够平坦，顶帽式轮廓甚至可近似为非平坦输出光束。

顶帽式轮廓也可使用一个或多个透镜、漫射器、混合棒，或处于发射器3802、3804、3806和输出波导、纤维或光纤束之间的任何其它居间光学部件来实现。

图41是示出了在输出处经由漫射器4104输出的单根光纤4102的示意图。在一个实施方案中，光纤4102可具有500微米的直径并具有0.65的数值孔径，并且在没有漫射器4104的情况下发射约70度或80度的光锥4106。在有漫射器4104的情况下，光锥4106可具有约110度或120度的角度。光锥4106可以是所有光到达并且均匀分布的地方的大部分。漫射器4104可允许由图像传感器观察到的场景的电磁能量的更均匀分布。

在一个实施方案中，内腔波导4102可包括约500微米的单个塑料或玻璃光纤。塑料纤维的成本较低，但通过耦合、漫射器或其它损耗其宽度可允许纤维将足够量的光传携带到场景。例如，较小的纤维可能不能携带与较大纤维一样多的光或功率。内腔波导3710可包括单根或多根光纤。内腔波导3702可直接从光源或经由跳线波导(例如，参见图37的跳线波导3706)接收光。漫射器可用于加宽光输出3706以获得图像传感器3714或其它光学部件的所需视场。

虽然在图38至图40中示出了三个发射器，但是在一些实施方案中可使用数量从一个到数百个或更多个不等的发射器。发射器可具有它们发射的不同波长或光谱的光，并且这些光可用于连续覆盖电磁光谱的所需部分(例如，可见光谱以及红外光谱和紫外光谱)。

在一个实施方案中，具有多个发射器的光源可用于缺光环境中的多光谱或超光谱成像。例如，不同的化学物质、材料或组织可对不同颜色或波长的电磁能量具有不同的响应。一些组织具有其自身的光谱特征(它们如何响应或改变电磁辐射的反射波长)。在一个实施方案中，可基于组织如何响应于特定波长或特定波长组合来检测特定类型的组织。例如，血管组织可以独特的方式吸收和反射不同波长或光谱的电磁能量，以将其与肌肉、脂肪、骨、神经、输尿管或体内的其它组织或物质进行辨别。此外，可基于它们的光谱响应来辨别特定类型的肌肉或其它类型的组织。组织的疾病状态也可基于光谱信息来确定。参见美国专利8,289,503。还可参见美国专利8,158,957。

在一个实施方案中，可使用一个或多个滤光器滤除除所需波长或光谱中的光或电磁能量之外的所有光或电磁能量来获得多光谱或超光谱图像数据。图42是示出了用于在光4208(或其它电磁辐射)遇到成像传感器4204或其它成像介质(例如，膜)之前滤除不需要的波长的滤光器4202的框图。在一个实施方案中，白光4208穿过滤光器4202，并且过滤后的光4210穿过透镜4206以聚焦到成像传感器4204上以用于图像捕获和读出。滤光器可位于系统中的任何地方，或者可以是透镜4206或图像传感器4204的属性。

在缺光环境中，光4208可包括由缺光环境中的发射器发射的白光。可选择滤光器4202以用于所需检查。例如，如果需要检测或突出显示特定组织，则可选择滤光器4202以允许对应于特定组织的光谱响应的波长穿过。图像传感器4204(其可包括单色图像传感器)可生成图像。然后可将所捕获图像的超过阈值或低于阈值的像素表征为对应于特定组织。然后，该数据可用于生成指示特定组织的位置的图像。

在另一个实施方案中，荧光染料可用于对体内的特定组织类型、通路等进行成像。例如，可向患者施用荧光染料，然后可捕获染料的图像。在一个实施方案中，可使用特定波长的电磁能量来触发染料发荧光。例如，只有当存在电磁能量时，染料才会发荧光。

然而，滤光器和荧光染料两者均显著约束了检查。例如，如果使用滤光器，则可检测到的所需光谱响应以及因此可检测到的物质或组织受到可用滤光器的限制。此外，滤光器可能需要更换或替换。就染料而言，染料必须在成像之前施用，并且在同一次检查期间出于不同目的施用不同的染料之间可能存在冲突。因此，使用滤光器和染料的检查可能花费很长的时间，并且可能需要进行许多不同的检查来获得期望的信息。

在一个实施方案中，可使用发射多个不同波长或光谱的电磁能量的单色图像传感器和发射器来实现缺光环境中的多光谱或超光谱成像。在一个实施方案中，光源或其它电磁源(诸如图38至图40中的任何一个的光源3800)可包括多个发射器以覆盖所需光谱。

图43示出了被分成二十个不同子光谱的电磁光谱4300的一部分。子光谱的数量仅为示例性的。在至少一个实施方案中，光谱4300可被分成数百个子光谱，每个子光谱具有小波带。光谱可从红外光谱4302延伸，穿过可见光谱4304，并且进入紫外光谱4306。子光谱各自具有覆盖光谱4300的一部分的波带4308。每个波带可由上波长和下波长限定。

在一个实施方案中，至少一个发射器(诸如激光发射器)可包括在光源(诸如图37至图40中的光源3702、3800)中以提供对整个光谱4300的完整且连续的覆盖。例如，用于提供对所示子光谱的覆盖的光源可包括至少20个不同的发射器，每个子光谱至少有一个发射器。在一个实施方案中，每个发射器可覆盖覆盖40纳米的光谱。例如，一个发射器可发射500nm至540nm的波带内的光，而另一个发射器可发射540nm至580nm的波带内的光。在另一个实施方案中，发射器可覆盖其它尺寸的波带，这取决于可用发射器的类型或成像需要。例如，多个发射器可包括覆盖500nm至540nm的波带的第一发射器、覆盖540nm至640nm的波带的第二发射器，以及覆盖640nm至650nm的波带的第三发射器。每个发射器可覆盖范围从远红外、中红外、近红外、可见光、近紫外和/或远紫外的电磁光谱的不同片段。在一些情况下，可包括相同类型或波长的多个发射器以提供用于成像的足够输出功率。特定波带所需的发射器数量可取决于单色传感器对波带的灵敏度和/或该波带中发射器的功率输出能力。

可选择由发射器提供的波带宽度和覆盖率以提供光谱的任何所需组合。例如，使用非常小的波带宽度(例如，10nm或更小)的光谱的连续覆盖可允许高度选择性的超光谱成像。因为波长来自可选择性激活的发射器，所以可实现在检查期间确定物质的光谱响应的极端灵活性。因此，关于光谱响应的更多信息可在更少的时间内并且在单次检查内实现，这原本需要多次检查、由于染料的施用或污渍而延迟等。在一个实施方案中，系统可捕获超光谱图像数据并处理该数据以识别在每个像素处存在什么类型的组织。

图44是根据一个实施方案的示出了用于生成多光谱或超光谱图像的发射和读出的定时图4400的示意图。实线表示用于捕获一系列帧4404-4414的读出(峰4402)和消隐周期(谷)。该系列帧4404-4414可包括可用于生成视频馈送的超频谱数据的重复系列帧。该系列帧包括第一帧404、第二帧4406、第三帧4408、第四帧4410、第五帧4412和第n帧4426。

在一个实施方案中，基于电磁能量的至少一个脉冲生成每个帧。电磁能量脉冲被图像传感器反射并检测，并且随后在后续读出(4402)中读出。因此，每个消隐周期和读出导致用于特定电磁能量光谱的图像帧。例如，第一帧404可基于第一一个或多个脉冲4416的光谱生成，第二帧4406可基于第二一个或多个脉冲4418的光谱生成，第三帧4408可基于第三一个或多个脉冲4420的光谱生成，第四帧4410可基于第四一个或多个脉冲4422的光谱生成，第五帧4412可基于第五一个或多个脉冲4424的光谱生成，并且第n帧4426可基于第n个一个或多个脉冲4426的光谱生成。

脉冲4416-4426可包括来自单个发射器或来自两个或更多个发射器的组合的能量。例如，可选择包括在单个读出周期中或多个帧4404-4414内的光谱以用于对特定组织或状况的所需检查或检测。根据一个实施方案，一个或多个脉冲可包括用于生成彩色或黑白图像的可见光谱光，而一个或多个附加脉冲用于获得光谱响应以对组织的类型进行分类。例如，脉冲4416可包括红光，脉冲4418可包括蓝光，并且脉冲4420可包括绿光，而剩余脉冲4422-4426可包括用于检测特定组织类型的波长和光谱。又如，单个读出周期的脉冲可包括由可用于检测特定组织类型的多个不同发射器生成的光谱(例如，电磁光谱的不同片段)。例如，如果波长的组合导致像素具有超过或低于阈值的值，则该像素可被分类为对应于特定类型的组织。每个帧可用于进一步缩小存在于该像素(例如，以及图像中的每个像素)处的组织的类型，以基于光谱响应提供组织和/或组织的状态(患病/健康)的非常特化的分类。

多个帧4404-4414被示出为具有不同长度的读出周期以及具有不同长度或强度的脉冲。消隐周期、脉冲长度或强度等可基于单色传感器对特定波长的灵敏度、发射器的功率输出能力和/或波导的携带能力来选择。

以图44中所示的方式获得的超光谱图像或超光谱图像数据可导致多个帧，所述多个帧各自基于不同的光谱或光谱的组合。在一些情况下，可获得数十或数百个不同的帧。在其它情况下，诸如对于视频流，可以限制帧的数量以提供可观察的帧速率。因为可以在单个读出周期中提供不同光谱的组合，所以即使在视频流中也仍然可以获得有用的动态光谱信息。

在一个实施方案中，视频或其它图像可包括叠层有来源于每个像素的光谱响应的信息的黑白或彩色图像。例如，对应于特定组织或状态的像素可以亮绿色或其它颜色显示，以在检查期间帮助医生或其它医学专家。

在一个实施方案中，双图像传感器可用于获得三维图像或视频馈送。三维检查可允许对检查区域的三维结构的改善的理解以及对该区域内的不同组织或物质类型的标测。

在一个实施方案中，可使用多光谱或超光谱成像来仔细查看材料或物质。例如，红外波长可穿过一些组织诸如肌肉或脂肪，而从血管反射。在一个实施方案中，红外波可穿透至组织中5mm、8mm或10mm或更深。获得包括至少一个红外帧的一系列帧可允许检查以提供关于表面下血管的位置的信息。对于可能期望执行避开血管的切口的外科手术，这可以是极有帮助的。在一个实施方案中，彩色或灰度图像可叠层有指示血管在表面下方的位置的绿色。类似地，在检查中，血液的已知光谱响应可用于透过血液进行观察并观察感兴趣的组织或结构。

在捕获一系列帧4404-4414之后，可将子帧组装成单个帧以用于在监视器或其它显示装置上显示。可从帧中的一个或多个生成彩色或灰度图像，并且可基于所有或剩余帧来确定像素的叠层信息。彩色或灰度图像可与叠层信息组合以生成单个帧。单个帧可被显示为单个图像或视频流中的图像。

在一个实施方案中，可提供如图44中所示获得的超光谱数据以供第三方算法分析，从而对图像中捕获的组织或物质进行分类。在一个实施方案中，第三方算法可用于选择将在成像期间使用的光谱或波带，使得可执行所需的光谱响应分析。在一个实施方案中，光谱响应分析可在医学成像规程或其它医学规程期间实时执行。光谱数据可叠层在rgb或黑白图像上，使得用户可易于区分某些类型的组织、器官、化学过程、疾病等。在一个实施方案中，可将光谱数据提供给计算机操作系统诸如机器人系统，以用于医学成像或医学规程的自动化。

图45是具有单个截止滤光器的成像系统4500的示意图。系统4500包括内窥镜4506或具有用于缺光环境的光源4508的其它合适的成像装置。内窥镜4506包括图像传感器4504和滤光器4502，该滤光器用于在到达图像传感器4504之前滤除不需要的波长的光或其它电磁辐射。光源4508传输可在缺光环境诸如体腔中照明表面4512的光。光4510从表面4512反射并在击中图像传感器4504之前穿过滤光器4502。

滤光器4502可用于已施用荧光试剂或染料的具体实施中。在此类实施方案中，滤光器4502被配置为滤除除一个或多个所需波长或光谱带的光或其它电磁辐射之外的所有光。在一个实施方案中，滤光器4502被配置为滤除电磁辐射的引起试剂或染料发荧光的激发波长，使得仅允许发荧光的试剂或染料的预期弛豫波长穿过滤光器4502并到达图像传感器4504。在一个实施方案中，滤光器4502滤除至少介于770nm和790nm之间的荧光试剂激发波长。在一个实施方案中，滤光器4502滤除至少介于795nm和815nm之间的荧光试剂激发波长。在一个实施方案中，滤光器4502滤除至少介于770nm和790nm之间以及介于795nm和815nm之间的荧光试剂激发波长。在这些实施方案中，滤光器4502滤除试剂的激发波长，并且允许由图像传感器4504读取荧光试剂的仅弛豫波长。图像传感器4504可以是波长不定图像传感器，并且滤光器4502可被配置为允许图像传感器4504仅接收荧光试剂的弛豫波长而不接收试剂的发射激发波长。然后由图像传感器4504确定的数据可指示由试剂或染料的位置确定的关键身体结构、组织、生物过程或化学过程的存在。

滤光器4502还可用于尚未施用荧光试剂或染料的具体实施中。可选择滤光器4502以允许对应于所需光谱响应的波长穿过图像传感器4504并由该图像传感器读取。图像传感器4504可为单色图像传感器，使得可将所捕获图像的超过阈值或低于阈值的像素表征为对应于某些光谱响应或荧光发射。由图像传感器4504捕获的像素确定的光谱响应或荧光发射可指示某些身体组织或结构、某些病症、某些化学过程等的存在。

在一个实施方案中，光源4508传输接触表面4512的白光，并且在其击中图像传感器4504之前在其被滤光器4502过滤处被滤光器反射回去。在一个实施方案中，光源4508传输穿过滤光器4502的白光，使得仅一个或多个期望所需波长的过滤后的光从滤光器4502出现以从表面4512反射并由图像传感器4504读取。例如，在一个实施方案中，滤光器4502允许仅具有795nm波长的光通过滤光器4502并接触图像传感器4504。另外，在一个实施方案中，滤光器4502允许仅某些波长的光被反射回到内窥镜4506或其它成像装置的图像传感器4504。滤光器4502可位于系统4500中的任何地方，或者可以是透镜或图像传感器4504的属性。滤光器4502可位于图像传感器4504的前面和/或后面。在一个实施方案中，由光源4508发射的光在其到达表面4512之前被过滤，并且反射光在由图像传感器4504准备好之前由附加滤光器过滤。

光源4508可为发射器，该发射器可被配置为发射一个或多个特定波长的白光或电磁辐射。光源4508可包括被配置为发射或脉冲指定波长的光的多个激光器。在一个实施方案中，光源4508发射白光，并且选择滤光器4502以过滤除一个或多个所需波长的光或其它电磁辐射之外的所有不需要的光。可选择滤光器4502以用于特定检查或目的，例如突出显示身体组织或结构的类型，或突出显示某些病症或化学过程。

图46是具有多个截止滤光器的成像系统4600的示意图。系统4600包括内窥镜4606或具有用于缺光环境的光源4608的其它合适的成像装置。内窥镜4606包括图像传感器4604和两个滤光器4602a、4602b。应当理解，在另选的实施方案中，系统4600可包括任何数量的滤光器，并且可针对某些目的选择滤光器的数量和滤光器的类型，例如，用于采集特定身体组织、身体病症、化学过程等的成像信息。滤光器4602a、4602b被配置用于滤除不需要的波长的光或其它电磁辐射。滤光器4602a、4602b可被配置为从可由光源4608发射的白光或其它电磁辐射中滤除不需要的波长。过滤后的光可击中表面4612(例如，身体组织)并反射回到图像传感器4604上。

相对于图45进一步描述本发明，滤光器4602a、4602b可用于已施用荧光试剂或染料的具体实施中。滤光器4602a、4602b可被配置用于阻挡试剂或染料的发射激发波长，并且允许图像传感器4604仅读取试剂或染料的弛豫波长。此外，滤光器4602a、4602b可用于尚未施用荧光试剂或染料的具体实施中。在此类具体实施中，可选择滤光器4602a、4602b以允许对应于所需光谱响应的波长穿过图像传感器4604并由该图像传感器读取。

多个滤光器4602a、4602b可各自被配置用于滤除电磁光谱的不同范围的波长。例如，一个滤光器可被配置用于滤除长于所需波长范围的波长，并且附加滤光器可被配置用于滤除短于所需波长范围的波长。两个或更多个滤光器的组合可导致仅某些波长或波长带由图像传感器4604读取。

在一个实施方案中，滤光器4602a、4602b被定制为使得介于513nm和545nm之间的电磁辐射接触图像传感器4604。在一个实施方案中，滤光器4602a、4602b被定制为使得介于565nm和585nm之间的电磁辐射接触图像传感器4604。在一个实施方案中，滤光器4602a、4602b被定制为使得介于900nm和1000nm之间的电磁辐射接触图像传感器4604。在一个实施方案中，滤光器4602a、4602b被定制为使得介于425nm和475nm之间的电磁辐射接触图像传感器4604。在一个实施方案中，滤光器4602a、4602b被定制为使得介于520nm和545nm之间的电磁辐射接触图像传感器4604。在一个实施方案中，滤光器4602a、4602b被定制为使得介于625nm和645nm之间的电磁辐射接触图像传感器4604。在一个实施方案中，滤光器4602a、4602b被定制为使得介于760nm和795nm之间的电磁辐射接触图像传感器4604。在一个实施方案中，滤光器4602a、4602b被定制为使得介于795nm和815nm之间的电磁辐射接触图像传感器4604。在一个实施方案中，滤光器4602a、4602b被定制为使得介于370nm和420nm之间的电磁辐射接触图像传感器4604。在一个实施方案中，滤光器4602a、4602b被定制为使得介于600nm和670nm之间的电磁辐射接触图像传感器4604。在一个实施方案中，滤光器4602a、4602b被配置用于允许仅某些荧光弛豫发射穿过滤光器4602a、4602b并接触图像传感器4604。

在一个实施方案中，系统4600包括多个图像传感器4604，并且可具体地包括用于生成三维图像的两个图像传感器。图像传感器4604可以是颜色/波长不定的，并且被配置用于读取从表面4612反射的任何波长的电磁辐射。在一个实施方案中，图像传感器4604各自是颜色相关的或波长相关的，并且被配置用于读取从表面4612反射并返回到图像传感器4604的特定波长的电磁辐射。另选地，图像传感器4604可包括具有多个不同像素传感器的单个图像传感器，该多个不同像素传感器被配置用于读取不同波长或颜色的光，诸如拜耳滤光器滤色器阵列。另选地，图像传感器4604可包括一个或多个颜色不定图像传感器，这些图像传感器可被配置用于根据脉冲调度(诸如图5至图7e和图15至图16中所示的那些)读取不同波长的电磁辐射。

图47是示出用于在缺光环境中标测表面并且/或者跟踪对象的系统4700的示意图。在一个实施方案中，内窥镜4702在缺光环境中脉冲网格阵列4706(可称为激光标测图图案)到表面4704上。在如图47中所示的一个实施方案中，网格阵列4706可包括竖直散列4708和水平散列4710。应当理解，网格阵列4706可包括用于标测表面4704的任何合适的阵列，包括例如离散点的光栅网格、占用网格标测图、点阵列等。另外，内窥镜4702可脉冲多个网格阵列4706，并且可例如在缺光环境内在多个对象或结构中的每个上脉冲一个或多个单独的网格阵列。

在一个实施方案中，系统4700脉冲网格阵列4706，该网格阵列可用于在缺光环境中确定三维表面和/或跟踪对象诸如工具或另一装置的位置。在一个实施方案中，系统4700可向第三方系统或计算机算法提供数据，以用于通过光检测和测距(lidar)映射的方式来确定表面尺寸和配置。系统4700可脉冲网格阵列4706中的任何合适波长的光或电磁辐射，包括例如紫外光、可见光、光、和/或红外光或近红外光。可以非常高的分辨率并且以非常高的准确度和精度映射和跟踪环境内的表面4704和/或对象。

在一个实施方案中，系统4700包括成像装置，该成像装置具有管、一个或多个图像传感器和透镜组件，该透镜组件具有对应于该一个或多个图像传感器的光学元件。系统4700可包括光引擎，该光引擎具有照明源和内腔，该照明源生成一个或多个电磁辐射脉冲，该内腔将该一个或多个电磁辐射脉冲传输到缺光环境诸如体腔内的内窥镜的远侧末端。在一个实施方案中，该一个或多个电磁辐射脉冲的至少一部分包括发射到缺光环境内的表面(诸如，体腔内的身体组织的表面和/或工具或其它装置的表面)上的激光标测图图案。内窥镜4702可包括二维、三维或n维相机，用于标测和/或跟踪缺光环境内的表面、尺寸和配置。

在一个实施方案中，系统4700包括处理器，该处理器用于确定内窥镜或工具与对象诸如表面4704的距离。处理器还可确定内窥镜或工具与对象之间的角度。处理器还可确定关于对象的表面积信息，包括例如外科工具的尺寸、结构的尺寸、解剖结构的尺寸、位置信息以及其它位置数据和度量。系统4700可包括一个或多个图像传感器，该一个或多个图像传感器提供输出到控制系统的图像数据，以用于确定内窥镜或工具与对象诸如表面4704的距离。图像传感器可将信息输出到控制系统以用于确定内窥镜或工具与对象之间的角度。另外，图像传感器可将信息输出到控制系统，以用于确定关于对象的表面积信息、外科工具的尺寸、结构的尺寸、解剖结构的尺寸、位置信息以及其它位置数据和度量。

在一个实施方案中，网格阵列4706由内窥镜4702的照明源以足够的速度脉冲，使得网格阵列4706对于用户不可见。在各种具体实施中，在内窥镜成像规程和/或内窥镜外科手术期间看到网格阵列4706可能使用户分心。可以足够短的周期脉冲网格阵列4706，使得网格阵列4706不能被人眼检测到。在另选的实施方案中，内窥镜4702以足够的复现频率脉冲网格阵列4706，使得网格阵列4706可由用户查看。在此类实施方案中，网格阵列4706可叠层在显示器上的表面4704的图像上。网格阵列4706可叠层在表面4704的黑白或rgb图像上，使得网格阵列4706在系统4700的使用期间可对用户可见。系统4700的用户可指示网格阵列4706是否应叠层在表面4704的图像上和/或网格阵列4706是否应对用户可见。系统4700可包括显示器，该显示器提供从内窥镜4702到缺光环境内的表面4704或另一个对象的距离的实时测量。显示器还可提供关于缺光环境内的表面4704和/或任何对象、结构或工具的实时表面积信息。测量的准确度可精确到小于一毫米。

内窥镜4702可根据脉冲调度(诸如图5至图7e和图15至图16中所示的那些)脉冲电磁辐射，例如，这还可包括脉冲网格阵列4706并且脉冲用于生成rgb图像并进一步生成可叠层在rgb图像上并且/或者用于标测并跟踪缺光环境内的表面4704和对象的网格阵列4706的红光、绿光和蓝光。

在一个实施方案中，内窥镜4702包括一个或多个颜色不定图像传感器。在一个实施方案中，内窥镜4702包括用于生成缺光环境的三维图像或标测图的两个颜色不定图像传感器。图像传感器可根据如本文所公开的脉冲调度生成缺光环境的rgb图像。另外，图像传感器可基于在脉冲网格阵列4706时确定的数据来确定用于映射缺光环境并跟踪缺光环境内的一个或多个对象的数据。另外，图像传感器可根据脉冲调度来确定光谱或超光谱数据以及荧光成像数据，该脉冲调度可由用户修改以适应成像规程的特定需要。在一个实施方案中，脉冲调度包括红色、绿色和蓝色脉冲以及网格阵列4706的脉冲和/或用于生成超光谱图像数据和/或荧光图像数据的脉冲。在各种具体实施中，脉冲调度可包括根据用户需要的电磁辐射脉冲的任何合适的组合。不同波长的电磁辐射的复现频率可基于例如某些脉冲的能量、用户的需要、某些数据(例如，超光谱数据和/或荧光成像数据)需要连续更新还是可更新较不频繁等来确定。

根据用户或用于某些成像规程的计算机实现的程序的需要，脉冲调度可以任何合适的方式修改，并且某些电磁辐射脉冲可以任何合适的频率重复。例如，在将基于网格阵列4706生成的表面跟踪数据提供给计算机实现的程序以用于例如机器人外科手术的实施方案中，网格阵列4706可比在将表面跟踪数据提供给在成像规程期间可视化场景的用户的情况下更频繁地脉冲。在表面跟踪数据用于机器人外科手术的此类实施方案中，表面跟踪数据可能需要更频繁地更新或者可能需要极为准确，使得计算机实现的程序可精密而准确地执行机器人外科手术。

在一个实施方案中，系统4700被配置为生成占用网格标测图，该占用网格标测图包括被划分为网格的单元阵列。系统4700被配置为存储相应网格单元中的每个的高度值以确定缺光环境中的三维环境的表面映射。

图48是示出了用于缺光环境中的超光谱成像的示例方法4800的示意性流程图。方法4800可由成像系统(诸如图37中所示的内窥镜成像系统)执行。

方法4800包括在4802处，在单色图像传感器的读出周期期间发射多个窄带脉冲。在4802处，可使用包括多个发射器的光源发射脉冲，该多个发射器在窄频带内发射电磁能量。例如，光源可包括用于覆盖所需光谱的多个频带的至少一个发射器。在4804处，单色图像传感器在读出周期之后从单色图像传感器读出像素数据以生成多个帧。每个帧可包括不同的频谱内容。这些帧可包括可用于生成数字视频流的多个重复帧。每个帧可基于由光源的一个或多个发射器发射的能量。在一个实施方案中，帧可基于由光源发射的光的组合，以生成频率组合从而匹配所需组织或物质的频率响应。在4806处，控制器、ccu或其它系统基于该多个帧来确定组织对一个或多个像素的光谱响应。例如，基于该多个帧中的像素的值，像素值和关于针对每个帧发射的光的频率的知识可用于确定特定像素的频率响应。在4808处，系统可基于该多个帧生成组合图像，该组合图像包括指示对该一个或多个像素的光谱响应的叠层。例如，组合图像可以是灰度或彩色图像，其中对应于特定组织或分类的像素以亮绿色示出。

图49是示出了用于缺光环境中的荧光成像的示例方法4900的示意性流程图。方法4900可由成像系统(诸如图37中所示的内窥镜成像系统)执行。

方法4900包括在4902处，在单色图像传感器的读出周期期间发射多个窄带脉冲。在4902处，可使用包括多个发射器的光源发射脉冲，该多个发射器在窄频带内发射电磁能量。例如，光源可包括用于覆盖所需光谱的多个频带的至少一个发射器。在4904处，单色图像传感器在读出周期之后从单色图像传感器读出像素数据以生成多个帧。每个帧可包括不同的频谱内容。这些帧可包括可用于生成数字视频流的多个重复帧。每个帧可基于由光源的一个或多个发射器发射的能量。在一个实施方案中，帧可基于由光源发射的光的组合，以生成频率组合从而匹配所需组织或物质的频率响应。在4906处，控制器、ccu或其它系统基于该多个帧确定试剂对一个或多个像素的荧光弛豫发射。例如，基于该多个帧中的像素的值，像素值和关于针对每个帧发射的光的频率的知识可用于确定特定像素的频率响应。在4908处，系统可基于该多个帧生成组合图像，该组合图像包括指示对该一个或多个像素的荧光弛豫发射的叠层。例如，组合图像可以是灰度或彩色图像，其中对应于特定组织或分类的像素以亮绿色示出。

实施例

以下实施例涉及另外的实施方案：

实施例1为一种用于在缺光环境中使用的内窥镜系统。该系统包括成像装置，该成像装置包括管、一个或多个图像传感器和透镜组件，该透镜组件包括对应于一个或多个图像传感器的至少一个光学元件。该系统包括用于为用户提供可视化场景的显示器。该系统包括光引擎，该光引擎包括照明源，该照明源生成一个或多个电磁辐射脉冲。光引擎可还包括内腔，所述内腔将一个或多个电磁辐射脉冲传输到内窥镜的远侧末端，其中所述一个或多个电磁辐射脉冲的至少一部分包括介于513nm和545nm之间的电磁辐射，一个或多个电磁辐射脉冲的至少一部分包括介于565nm和585nm之间的电磁辐射，并且一个或多个电磁辐射脉冲的至少一部分包括介于900nm和1000nm之间的电磁辐射。

实施例2为根据实施例1所述的系统，其中一个或多个电磁辐射脉冲的持续时间是可变的。

实施例3为根据实施例1至2中任一项所述的系统，其中脉冲持续时间包括持续时间短于整个脉冲持续时间的多个电磁辐射脉冲。

实施例4为根据实施例1至3中任一项所述的系统，其中持续时间短于整个脉冲持续时间的多个电磁辐射脉冲具有提供单个帧曝光的持续时间。

实施例5为根据实施例1至4中任一项所述的系统，其中在脉冲持续时间期间发射具有子持续时间的多个电磁辐射子脉冲，并且其中所述子持续时间短于所述脉冲持续时间。

实施例6为根据实施例1至5中任一项所述的系统，其中所述脉冲持续时间中的所述脉冲子持续时间对于每个电磁辐射子脉冲是不同的。

实施例7为根据实施例1至6中任一项所述的系统，其中所述脉冲持续时间中的所述脉冲子持续时间对于每个电磁辐射子脉冲是相同的。

实施例8为根据实施例1至7中任一项所述的系统，其中所述脉冲持续时间中的所述脉冲子持续时间包括具有相等持续时间的两个或更多个电磁辐射子脉冲。

实施例9为根据实施例1至8中任一项所述的系统，其中所述多个子脉冲中的一个或多个能够包括作为单个脉冲或单个子脉冲以两个或更多个波长同时发射的电磁辐射。

实施例10为根据实施例1至9中任一项所述的系统，其中所述多个子脉冲的所述子持续时间在发射的电磁辐射波长和每脉冲持续时间发生的发射数量两者上是可变的。

实施例11为根据实施例1至10中任一项所述的系统，其中所述多个子脉冲的所述子持续时间等于提供单个帧曝光的单个脉冲持续时间。

实施例12为根据实施例1至11中任一项所述的系统，其中各种波长的电磁辐射的脉冲序列能够由所述内窥镜光引擎的用户调节。

实施例13为根据实施例1至12中任一项所述的系统，其中所述系统包括切换按钮，其中用户通过操纵所述切换按钮来改变或调节所述脉冲序列。

实施例14为根据实施例1至13中任一项所述的系统，其中所述系统包括用于正确地照明所述场景的控制系统，其中所述控制系统基于阈值自动调节或改变从所述光引擎发射的电磁辐射的脉冲序列，其中所述阈值预先确定所述场景的正确照明。

实施例15为根据实施例1至14中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的单个图像向用户显示。

实施例16为根据实施例1至15中任一项所述的系统，其中为该单个图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例17为根据实施例1至16中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的叠层图像向用户显示。

实施例18为根据实施例1至17中任一项所述的系统，其中为该叠层图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例19为根据实施例1至18中任一项所述的系统，其中照明源使用一个或多个激光发射器生成一个或多个电磁辐射脉冲。

实施例20为根据实施例1至19中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的单个图像向用户显示。

实施例21为根据实施例1至20中任一项所述的系统，其中为该单个图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例22为根据实施例1至21中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的叠层图像向用户显示。

实施例23为根据实施例1至22中任一项所述的系统，其中为该叠层图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例24为根据实施例1至23中任一项所述的系统，其中照明源生成425nm至475nm波长的一个或多个电磁辐射脉冲。

实施例25为根据实施例1至24中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的单个图像向用户显示。

实施例26为根据实施例1至25中任一项所述的系统，其中为该单个图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例27为根据实施例1至26中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的叠层图像向用户显示。

实施例28为根据实施例1至27中任一项所述的系统，其中为该叠层图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例29为根据实施例1至28中任一项所述的系统，其中照明源生成520nm至545nm波长的一个或多个电磁辐射脉冲。

实施例30为根据实施例1至29中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的单个图像向用户显示。

实施例31为根据实施例1至30中任一项所述的系统，其中为该单个图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例32为根据实施例1至31中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的叠层图像向用户显示。

实施例33为根据实施例1至32中任一项所述的系统，其中为该叠层图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例34为根据实施例1至33中任一项所述的系统，其中照明源生成625nm至645nm波长的一个或多个电磁辐射脉冲。

实施例35为根据实施例1至34中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的单个图像向用户显示。

实施例36为根据实施例1至35中任一项所述的系统，其中为该单个图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例37为根据实施例1至36中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的叠层图像向用户显示。

实施例38为根据实施例1至37中任一项所述的系统，其中为该叠层图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例39为根据实施例1至38中任一项所述的系统，其中照明源生成760nm至795nm波长的一个或多个电磁辐射脉冲。

实施例40为根据实施例1至39中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的单个图像向用户显示。

实施例41为根据实施例1至40中任一项所述的系统，其中为该单个图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例42为根据实施例1至41中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的叠层图像向用户显示。

实施例43为根据实施例1至42中任一项所述的系统，其中为该叠层图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例44为根据实施例1至43中任一项所述的系统，其中照明源生成795nm至815nm波长的一个或多个电磁辐射脉冲。

实施例45为根据实施例1至44中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的单个图像向用户显示。

实施例46为根据实施例1至45中任一项所述的系统，其中为该单个图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例47为根据实施例1至46中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的叠层图像向用户显示。

实施例48为根据实施例1至47中任一项所述的系统，其中为该叠层图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例49为根据实施例1至48中任一项所述的系统，其中照明源生成370nm至420nm波长的一个或多个电磁辐射脉冲。

实施例50为根据实施例1至49中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的单个图像向用户显示。

实施例51为根据实施例1至50中任一项所述的系统，其中为该单个图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例52为根据实施例1至51中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的叠层图像向用户显示。

实施例53为根据实施例1至52中任一项所述的系统，其中为该叠层图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例54为根据实施例1至53中任一项所述的系统，其中照明源生成600nm至670nm波长的一个或多个电磁辐射脉冲。

实施例55为根据实施例1至54中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的单个图像向用户显示。

实施例56为根据实施例1至55中任一项所述的系统，其中为该单个图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例57为根据实施例1至56中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧作为所述显示器上的叠层图像向用户显示。

实施例58为根据实施例1至57中任一项所述的系统，其中为该叠层图像指定用于在该显示器上使用的可见颜色；其中所述可见颜色为8位或16位或n位。

实施例59为根据实施例1至58中任一项所述的系统，其中该光引擎包括偏振滤光器。

实施例60为根据实施例1至59中任一项所述的系统，其中该偏振滤光器位于该电磁辐射的路径中。

实施例61为根据实施例1至60中任一项所述的系统，其中该偏振滤光器位于该内腔的近侧端部处。

实施例62为根据实施例1至61中任一项所述的系统，其中该偏振滤光器位于该内腔的远侧端部处。

实施例63为根据实施例1至62中任一项所述的系统，其中该透镜组件包括电磁辐射滤光器。

实施例64为根据实施例1至63中任一项所述的系统，其中该透镜组件包括偏振滤光器。

实施例65为根据实施例1至64中任一项所述的系统，其中每个电磁辐射脉冲导致由该图像传感器产生的曝光帧；其中一个或多个曝光帧被馈送到将提供关键组织结构的位置的对应系统。

实施例66为根据实施例1至65中任一项所述的系统，其中关键结构的该位置由该内窥镜系统接收并叠层在显示器上，其中该关键结构被编码成由算法或用户选择的任何颜色。

应当理解，本文所公开的各种特征在本领域中提供了显著优势和进步。下列权利要求为那些特征中的一些的示例。

在上述本公开具体实施方式中，出于简化本公开的目的，将本公开的各个特征集中于单个实施方案中。本公开的方法不应理解为体现了这样的意图：受权利要求书保护的公开内容要求比每项权利要求中所明确列举的更多的特征。相反，创新方面未能体现上文公开的单个实施例的所有特征。

应当理解，上述设置只是本公开原理的示例性应用。在不脱离本公开精神和范围的前提下，本领域的技术人员可以设计许多修改和另选设置，并且所附权利要求书旨在涵盖这些修改和设置。

因此，当本公开以图示显示并且以特殊性和细节进行上述描述时，对于本领域的普通技术人员而言，在不脱离本文所述原则和理念的前提下，显而易见可进行大量修改，这些修改包括但不限于尺寸、材料、形状、形式、功能和操作方式、组装和使用方式的变化。

另外，在适当的情况下，本文所述的功能可通过硬件、软件、固件、数字部件或模拟部件中的一种或多种来执行。例如，可对一种或多种专用集成电路(asic)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的系统部件。本领域的技术人员应当理解，部件可具有不同的名称。本文并非旨在在名称上而非功能上不同的部件之间进行辨别。

为了举例说明和描述的目的，已经提供了上述具体实施方式。这些具体实施方式并非意图为详尽的或将本公开限制为所公开的具体形式。根据上述教导内容可以对本公开进行许多修改和改变。另外，应当指出的是，任何或所有前述另选的具体实施可以任何期望的组合使用，以形成本公开的另外的混合的具体实施。

另外，虽然已描述和说明了本公开的特定具体实施，但是本公开并不限于如描述和说明的特定形式或部件布置。本公开的范围将由此处所附的权利要求、此处和不同申请中提交的任何未来的权利要求以及它们的等效物来限定。