光不足环境中的连续视频的制作方法

光不足环境中的连续视频的制作方法
【专利摘要】本公开涉及用于在光不足环境中产生图像的方法、系统和计算机程序产品，并且公开和描述了相关联的结构、方法和特征。本系统的特征可以包括：通过持续时间、强度或者二者来控制光源；在消隐周期期间来脉冲调制组分受控的光源；最大化消隐周期来允许最佳光，并且维持色平衡。
【专利说明】光不足环境中的连续视频
[0001] 相关申请的夺叉引用
[0002] 本申请要求下列权益：于2012年7月26日提交的美国临时专利申请 No. 61/676, 289、以及于2013年3月15日提交的美国临时专利申请No. 61/790,487的权 益，通过引用方式将其全部内容并入本文中，本申请包括但不限于下面具体出现的那些部 分，所述通过参考的并入具有以下例外：当上面参考的临时申请的任何部分与本申请不一 致时，本申请替代上面参考的临时申请。

【背景技术】
[0003] 技术进步已经为医疗使用提供了成像能力的进步。由于组成内窥镜的组件方面的 进步，因而有了 一些最有益进步的一个领域是内窥镜外科程序。
[0004] 本公开总体涉及电磁感测和传感器。本公开也涉及低能量电磁输入条件以及低能 量电磁吞吐量条件。具体而言，本公开涉及（但不必纯粹涉及）用于在光不足环境中产生 图像的系统以及相关联的结构、方法和特征，这些特征可以包括：通过持续时间、强度或者 二者来控制光源；在消隐周期期间脉冲光源控制的组分；最大化消隐周期来允许最佳光， 并且维持色平衡。
[0005] 本公开的特征和优势将在如下的描述中陈述，并且部分地从描述中变得显而易 见，或者可在无需过度的试验的情况下通过本公开的实践了解到。可以通过所附权利要求 中具体地指出的仪器和组合来实现并且获得本公开的特征和优势。

【专利附图】

【附图说明】
[0006] 参照下面的附图来描述本公开的非限制性和非穷尽性的实现方式，其中，除非特 别指定，则相同的参考数字指代贯穿多种视图的相同部分。参考接下来的描述和附图将更 好理解本公开的优势，其中：
[0007] 图1是根据本公开的原理和教义完成的一对传感器和电磁发射器在运行中以用 于在光不足环境下产生图像的系统的实施例的示意图；
[0008] 图2是预期的系统硬件的示意图；
[0009] 图2A至图2D是根据本公开的原理和教义的用于构建一个图像帧的传感器的操作 周期的说明；
[0010] 图3是根据本公开的原理和教义的电磁发射器的实施例的操作的图形表示；
[0011] 图4是根据本公开的原理和教义的改变发射的电磁脉冲的持续时间和幅度以提 供曝光控制的图形表示；
[0012] 图5是根据本公开的原理和教义的组合传感器的操作周期、电磁发射器和图2至 图4的发射的电磁脉冲以在操作期间说明成像系统的本公开的实施例的图形表示；
[0013] 图6示出了根据本公开的原理和教义的针对全光谱光和分割光谱光的用于记录 视频帧的从t(0)到t(l)的时间周期上的两个不同过程的示意图；
[0014] 图7A至图7E示出了根据本公开的原理和教义的针对全光谱光和分割光谱光的用 于记录视频帧的时间间隔上的处理的示意图；
[0015] 图8至图12示出根据本公开的原理和教义的电磁发射器和传感器二者的调整，其 中,这种调整可以在一些实施例中同时完成。
[0016] 图13至图21示出根据本公开的原理和教义的与分割光系统一起使用的传感器校 正方法和硬件示意图；
[0017] 图22至图23示出根据本公开的原理和教义的用于在封闭或者有限光环境内增加 动态范围的方法和硬件示意图；
[0018] 图24示出与没有颜色校正相比较的用于典型基于贝尔的传感器的颜色校正的信 噪比的影响；
[0019] 图25示出与SRGB范围相比的3种单色激光的色度；
[0020] 图26至图27B示出根据本公开的原理和教义的用于在封闭或者有限光环境内增 加动态范围的方法和硬件示意图；
[0021] 图28A至图28C示出了使用对应颜色传感器来脉冲调制（pulse)和/或同步的白 光发射的使用；
[0022] 图29A和图29B示出根据本公开的教义和原理的具有用于产生三维图像的多个像 素阵列的实现方式；
[0023] 图30A和图30B分别示出了在多个基板上创建的成像传感器的实现方式的透视图 和侧视图，其中，形成像素阵列的多个像素列位于第一基板上，并且多个电路列位于第二基 板上，并且示出了一个像素列和其相关联或者对应电路列之间的电连接和通信；
[0024] 图31A和图31B分别示出了具有用于产生三维图像的多个像素阵列的成像传感器 的实现方式的透视图和侧视图，其中，多个像素阵列和图像传感器被创建在多个基板上；并 且
[0025] 图32至图36示出了包括各个机械过滤器和快门配置的发射器的实施例。

【具体实施方式】
[0026] 本公开涉及针对可以主要适用于医疗应用的数字成像的方法、系统以及基于计算 机的产品。在本公开接下来的描述中，参考了形成本公开一部分的说明书附图，其中，经由 说明指定的并且本公开可以在其中被实践的实施方式来示出说明书附图。应该了解的是， 在不背离本发明保护范围的情形下，其他实施方式可以被使用并且结构变化可以被做出。
[0027]用于例如关节镜检查和腹腔镜检查中的传统内窥镜被设计为使得图像传感器通 常放置在手持件单元内。在这种配置中，内窥镜单元必须在最小损耗和变形的情况下经由 精确耦接的光学组件的复杂设置朝向传感器沿着其长度传输入射光。内窥镜单元的成本由 光学器件来控制，因为这些组件是昂贵的并且制造过程是劳动密集的。而且，该类型的范围 是机械易碎的并且相对次要影响可容易损害组件或者扰乱组件的相对对齐，由此导致大量 的光减少并且导致该范围不可用。这需要频繁的、昂贵的检修周期，以便于维持图像质量。 针对该问题的一种方案在于在远端内窥镜自身内放置图像传感器，由此潜在接近即在例如 移动电话相机内通常实现的光学的简单性、鲁棒性和经济性。针对该方法的可接受的方案 绝不琐碎的，然而，因为其引入了其自己的一套工程挑战，而其挑战中的至少在于传感器必 须适合于在较高限制的区域内尤其X和Y维度中，而在Z维度存在更多自由度。
[0028] 将侵入式限制放置在传感器区域上自然地导致了像素阵列内的较少和/或较小 的像素。降低像素计数可以直接影响空间分辨率，同时减少像素区域可以减少可用信号容 量，并且由此像素的敏感性，以及优化像素的数量，使得最大化图像质量，使用最大像素质 量和倾斜的最小像素分辨率和自然数量的像素，使得分辨率不是问题，以及降低每个像素 的信噪比（SNR)。降低信号容量减少动态范围，即使用较大范围的亮度来同时采集来自场 景的所有有用的信息的成像设备或者相机的能力。存在延伸成像系统的动态范围超过像素 自身的动态范围的多种方法。所有这些方法可以具有某种惩罚，然而（例如，在分辨率或者 帧速中），并且它们可以引入不期望的人工制品，这在极端情况下变成了有问题的。减少敏 感性具有需要较大光功率来带给场景的较黑区域可接收的信号等级的结果。降低焦距比数 (放大孔径）可以补偿敏感性的损耗，但是以空间畸变和减少了焦深为代价。
[0029] 在传感器产业中，由于它们较方便的集成和操作，优秀的或者比得上的图像质量、 较大的多功能性和较低成本，所以CMOS图像传感器在现代相机应用例如内窥镜检查中主 要取代了传统CCD图像传感器。典型地，它们可以包括将图像信息变换成数字数据所需要 的电路，并且具有其后合并的各种等级的数字处理。这可以出于校正非理想（这例如由放 大器行为中的变化引起）的目的从基本算法变化到全图像信号处理（ISP)链，以提供标准 sRGB颜色空间例如（片上相机）中的视频数据。
[0030] 如果控制单元或者第二阶段相对于传感器远程放置并且离传感器可感知的距离， 可以期望在数字域中传输数据，因为当与传输模拟数据流相比时，它较大免于干扰噪声和 信号退化。要明白，可以使用各种电气数字信令标准，例如LVDS (低压差分信令）、子-LVDS、 SLVS (可扩展的低电压信令）或者其它电气数字信令标准。
[0031] 可以存在减少导电体数量的强烈希望，以减少传感器上衬垫（pad)消耗空间的数 量，并且减少传感器制造的复杂性和成本。虽然添加到传感器的模拟到数字转换可能是有 利的，但是由转换电路占用的附加区是偏移的，因为由于较早到数字信号的转换而需要模 拟缓冲功率中显著减少。
[0032] 就区域消耗而言，给定CMOS图像传感器（CIS)技术中可用的典型特征尺寸，可以 优选的是：在一些实现方式中具有相同芯片上生成的所有内部逻辑信号作为经由一组控制 寄存器和简单命令接口的像素阵列。
[0033] 本公开的一些实现方式可以包括组合的传感器和系统设计的方面，系统设计允许 在高度受控的照明环境中使用减少的像素计数的高清晰成像。这可以凭借单个颜色波长的 逐帧的脉冲调制并且凭借使用受控的光源连同高帧采集速率和特定设计的对应单色传感 器来切换或者交替单色、不同颜色波长之间的每帧来完成。如本文所使用的，单色传感器指 代未滤过的成像传感器。由于像素为不可知论的颜色，所以有效空间分辨率明显高于传统 单个传感器相机中的颜色（典型贝尔图案过滤的）相对物。它们也可以具有较高量子效率。 因为在单独像素之间浪费少很多的入射光子。而且，基于贝尔空间颜色调制需要与单色调 制相比降低伴随光学器件的调制传递功能（MTF)，以抹掉与贝尔图案相关联的颜色人工制 品。这具有对能够使用颜色传感器实现的实际空间分辨率不利影响。
[0034] 本公开也涉及用于内窥镜应用的系统方案，其中，图像传感器存在于内窥镜的远 端。在争取基于最小区域传感器的系统中，存在能够超过像素计数中减少而发展的其它设 计方面。可以最小化芯片的远端部分的区域。此外，也可以最小化到芯片（板）的连接的 数量。本公开描述了完成用于实现这种系统的这些目标的新颖性方法。这涉及具有几个新 颖性特征的全定制CMOS图像传感器的设计。
[0035] 出于提升根据本公开的原理的理解的目的，现在将参考附图中示出的实施例，并 且特定语言将用于描述这些实施例。然而要理解，由此想要本公开的范围的无限制。本文 示出的创造性特征的任何改变和进一步修改以及如本文示出的本公开的原理的任何额外 的应用（这将通常在相关领域由技术人员想起并且具有本公开的全部）被认为所要求的本 公开的范围内。
[0036]在公开且描述用于在光不足环境下产生图像的结构、系统和方法之前，要理解，本 公开不限于本文公开的特定的结构、配置、处理步骤和材料，像这样，可以稍微变化结构、配 置、处理步骤和材料。也要理解，本文使用术语用于出于仅描述特定实施例的目的并且不旨 在限制，因为本公开的范围仅由所附权利要求及其等同物来限制。
[0037] 当描述和要求本公开的主题时，将根据下面所述的限定使用以下术语。
[0038] 必须注意的是，如在该说明书和所附权利要求中所使用的那样，除非上下文中清 楚地作出相反指示之外，单数形式的"一"、"一个"、和"该"也包括复数所指对象。
[0039] 如本文中所使用的那样，术语"包括"、"包含"、"含有"、"特征在于"以及其语法等 同体不排除额外的、未叙述的元件或方法步骤的包含型的或开放型的术语。
[0040] 如本文中所使用的那样，短语"由……组成"和其语法等同成分排除在权利要求中 没有指定的任何元件、步骤或成分。
[0041] 如本文中所使用的那样，短语"主要由……组成"和其语法等同成分将权利要求的 范围限制为特定的物质或步骤以及那些不会实质上影响所要求的公开的基础和新颖性特 点的物质或步骤。
[0042] 如本文中所使用的那样，术语"近端"应当广泛指代最靠近原点的部分的概念。 [0043]如本文中所使用的那样，术语"远端"应当通常指代近端的相反，并且因此取决于 上下文而指代离原点更远的部分或者最远的部分的概念。
[0044] 如本文所使用的那样，色彩传感器或者多频谱传感器为已知其上具有滤色阵列 (CFA)的那些传感器，以将入射的电磁辐射过滤到其分离的成分。在电磁谱的可视范围内， 可以在贝尔图案或者其修改上建立这种CFA，以对光的绿、红以及蓝的光谱成分进行分离。 现在参照图1至图5,现在将描述用于在光不足环境下产生图像的系统和方法。图1示出了 一对传感器和电磁发射器在运行中以用于在光不足环境下产生图像的示意图。这种配置允 许在光受控的或者环境光不足的环境下的增强功能。
[0045] 应当注意的是，如本文使用的那样，术语"光"为粒子或者波长，并且旨在表示由像 素阵列可检测的电磁辐射，并且该光可以包括来自电磁辐射的可见和非可见光谱的波长。 术语"分割"在本文中意味着小于整体光谱的电磁光谱的预先确定范围的波长，或者换言之 组成电磁光谱的一部分的波长。如本文所使用的那样，发射器为关于发射的电磁光谱的部 分可控的光源或者关于其组件的物理、发射的强度或者发射的持续时间或者上面所有而可 操作的光源。发射器可以以任何颤动的、扩散的或者照准的发射来发射光，并且可以数字地 或者通过模拟方法或者系统来控制。如本文使用的那样，电磁发射器为电磁能量的爆发源， 并且包括光源，例如激光、LED、白炽灯或者可以数字控制的任何光源。
[0046] 图像传感器的像素阵列可以与发射器电子地配对，使得图像传感器的像素阵列 和发射器在用于接收发射和系统内完成的调整的操作期间被同步。如在图1中可见的， 发射器100可以被调谐，从而以激光的形式发射电磁辐射，该电磁辐射可以被脉冲调制 (pulse)，以照亮物体110。发射器100可以以与像素阵列122的操作和功能对应的间隔被 脉冲调制。发射器100可以在多个电磁分割105中对光进行脉冲调制，使得像素阵列接收 电磁能量并且产生与每个指定电磁分割105及时一致的数据集合。例如，图1示出了具有 单色传感器120和支持电路的系统，该单色传感器120具有像素阵列（黑色和白色）122,该 像素阵列122对任何波长的电磁辐射都敏感。图中示出的光发射器100可以为能够以任何 期望顺序发射红色电磁分割l〇5a、蓝色电磁分割105b以及绿色电磁分割105c的激光发射 器。要明白，其它光发射器1〇〇例如基于数字或者模拟的发射器可以在不脱离本公开的范 围的情况下用在图1中。
[0047] 在操作期间，用于任何单独脉冲的由单色传感器120创建的数据可以被分配特定 颜色分割，其中，该分配基于来自发射器1〇〇的脉冲的颜色分割的时序。即使像素122不是 专用的像素，但是像素122也可以基于与发射器有关的先验信息来针对任何给定的数据集 合分配颜色。
[0048] 在一个实施例中，表示RED、GREEN以及BLUE电磁脉冲的三个数据集合可以被组 合以形成单个图像帧。要明白，本公开在不脱离本公开的范围的情况下不限于任何特定颜 色组合或者任何特定电磁分割，并且任何颜色组合或者任何电磁分割可以用于替换RED、 GREEN以及BLUE，例如蓝绿、品红和黄色；紫外光；红外线；前述的任何组合，或者包括所有 可见和非可见的波长的任何其它颜色组合。在附图中，待成像的物体110包含红色部分 110a、绿色部分IlOb以及蓝色部分110c。如附图中所示，来自电磁脉冲的反射的光仅包含 具有与被脉冲调制的颜色分割对应的指定颜色的物体的部分的数据。然后，这些分离的颜 色（或者颜色间隔）数据集合可以用于通过在130处组合数据集合来重建图像。
[0049] 如图2所示，本公开的实现方式可以包括或者使用专用或者通用计算机，该计算 机包括计算机硬件，例如一个或者多个处理器和系统存储器，如下面更详细讨论。本公开的 范围之内的实现方式也可以包括用于携带或者存储计算机可执行指令和/或数据结构的 物理和其它计算机可读介质。这种计算机可读介质可以为能够由通用或专用计算机系统存 取的任何可用介质。用于存储计算机可读指令的计算机可读介质为计算机存储介质（设 备）。用于携带计算机可执行指令的计算机可读介质为传输介质。因此，例如且非限制，本 公开的实现方式可以包括至少两种明显不同的计算机可读介质；计算机存储介质（设备） 和传输介质。
[0050] 计算机存储介质（设备）包括RAM、ROM、EEPROM、CD-ROM、固态驱动器（"SSD"） (例如，基于RAM)，闪存、相变存储器（"PCM"）、其它类型的存储器、其它光盘存储、磁盘存 储或者其它磁存储设备或者任何其它介质，该其它介质可以用于存储计算机可执行指令或 者数据结构形式的期望程序代码装置，并且该其它介质可以由通用或者专用计算机存取。 [0051] "网络"被限定为一个或者多个数据链路，该数据链路能够在计算机系统和/或模 块和/或其它电子设备之间的电子数据的运输。在一个实现方式中，传感器和相机控制单 元可以为网络化的，以彼此通信，并且和它们连接到的网络上连接的其它组件彼此通信。当 在网络或者（硬连接的、无线的或者硬连接的或者无线的组合）连接到计算机的另一个通 信上转移或者提供信息时，计算机适当将该连接视作传输介质。传输介质可以包括网络和/ 或数据链路，该网络和/或数据链路可以用于携带计算机可执行指令或者数据结构的期望 的计算机程序代码装置，并且该网络和/或数据链路可以由通用或者专用计算机来存取。 上述的组合也应当包括在计算机可读介质的范围内。
[0052] 而且，在达到各种计算机系统组件之后，计算机可执行指令或者数据结构形式的 程序代码装置可以从传输介质自动转移到计算机存储介质（设备）（或者反之亦然）。例 如，在网络或者数据链路上接收到的计算机可执行指令或者数据结构可以缓冲到网络接口 模块（例如"NIC"）内的RAM中，并且然后最终转移到计算机系统RAM和/或到计算机系统 处的较少易失的计算机存储介质（设备）。RAM也可以包括固态驱动器（SSD或者基于PCIx 的实时存储器层叠存储，例如FusionIO)。因此，应当理解的是，计算机存储介质（设备）可 以包括在计算机系统组件内，该计算机系统组件也（或者甚至主要）利用传输介质。
[0053] 计算机可执行指令包括例如指令和数据，该指令和数据在处理器处执行时导致通 用计算机、专用计算机或者专用处理设备执行某个功能或者某组功能。计算机可执行指令 可以例如为二进制、中间格式指令例如汇编语言或者甚至源代码。虽然以特定于结构特征 和/或方法行动的语言描述了本主题，但是要理解，所附权利要求中限定的主题未必限于 所述特征或者上述的行动。相反，所描述的特征和行动被公开为实现所述权利要求的示例 形式。
[0054] 本领域的那些技术人员要明白，本公开可以使用多种类型的计算机系统配置在网 络计算环境下实施，该多种类型的计算机系统配置包括私人计算机、台式计算机、膝上型计 算机、消息处理器、控制单元、相机控制单元、手持式设备、手机、多处理器系统、基于微处理 器或者可编程消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、 寻呼机、路由器、开关、各种存储设备等。应当注意，上面提及的计算设备中的任一个可以由 实体位置来提供或者位于实体位置内。本公开也可以在分布式系统环境中实施，通过网络 (由硬连接数据链路、无线数据链路或者由硬链接数据链路和无线数据链路的组合）链接 的本地和远程计算机系统都在分布式系统环境中执行任务。在分布式系统环境中，程序模 块可以位于本地和远程存储器存储设备中。
[0055] 而且，在适当情况下，本文所述的功能可以在以下的一个或者多个设备中执行：硬 件、软件、固件、数字组件或者模拟组件。例如，一个或者多个专用集成电路（ASIC)或者现 场可编程门阵列（FPGA)可以被编程，以执行本文所述的系统和程序中的一个或者多个。某 些术语在下面描述的全文中被使用，并且要求指代特定系统组件。如本领域的技术人员要 明白的，可以有不同名字指代组件。该文档不旨在区别名字不同而不是功能不同的组件。
[0056] 图2是示出示例性计算设备150的框图。计算设备150可以用于执行各种程序， 例如本文讨论的那些。计算设备150可以用作服务器、客户端、或者任何其它计算实体。计 算设备150可以执行如本文讨论的各种监视功能，并且可以执行一个或者多个应用程序， 例如本文描述应用程序。计算设备150可以为各种计算设备中的任一个，例如台式计算机、 笔记本计算机、服务器计算机、手持式计算机、相机控制单元、平板计算机等。
[0057] 计算设备150包括一个或者多个处理器152, 一个或者多个存储器设备154、一个 或者多个接口 156、一个或者多个大容量存储设备158、一个或者多个输入/输出（I/O)设 备160以及显示设备180,所有这些设备都耦接到总线162。一个或者多个处理器152包括 一个或者多个处理器或者控制器，该处理器或者控制器执行一个或者多个存储器设备154 和/或一个或者多个大容量存储设备158中存储的指令。一个或者多个处理器152也可以 包括各种类型的计算机可读介质，例如缓冲存储器。
[0058] -个或者多个存储器设备154包括各种计算机可读介质，例如易失性存储器（例 如随机存取存储器（RAM) 164)和/或非易失性存储器（例如，随机存储器（ROM) 166)。一个 或者多个存储器设备154也可以包括可重写的R0M，例如闪存。
[0059] -个或者多个大容量存储设备158包括各种计算机可读介质，例如磁带、磁盘、光 盘、固态存储器（例如，闪存）等。如图2所示，特定大容量存储设备为硬盘驱动器174。各 种驱动器也可以包括在一个或者多个大容量存储设备158中以能够从各种计算机可读介 质中读取和/或向各种计算机可读介质写入。一个或者多个大容量存储设备158包括可移 除介质176和/或非可移除的介质。
[0060] 一个或者多个I/O设备160包括各种设备，该各种设备允许将数据和/或其它信 息输入到计算设备150中或者从计算设备150中获得数据和/或其它信息。例如，一个或 者多个示例性I/O设备160包括：数字成像设备、电磁传感器和发射器、光标控制设备、键 盘、小键盘、麦克风、监视器或者其它显示设备、扬声器、打印机、网络接口卡、调制解调器、 透镜、CXD或者其它图像采集设备等。
[0061] 显示设备180包括能够向计算设备150的一个或者多个用户显示信息的任何类型 的设备。显示设备180的示例包括监视器、显示终端、视频投影设备等。
[0062] 一个或者多个接口 106包括各种接口，该各种接口允许计算设备150与其它系统、 设备或者计算环境交互。一个或者多个示例性的接口 156可以包括任何数量的不同网络接 口 170,例如到局域网（LAN)、广域网（WAN)、无线网络以及互联网的接口。一个或者多个其 它接口包括用户接口 168和外围设备接口 172。一个或者多个接口 156也可以包括一个或 者多个用户接口元件168。一个或者多个接口 156也可以包括一个或者多个外围接口例如 用于打印机、顶点设备（鼠标、跟踪板等）、键盘等的接口。
[0063] 总线162允许一个或者多个处理器152、一个或者多个存储器设备154、一个或者 多个接口 156、一个或者多个大容量存储设备158以及一个或者多个I/O设备160彼此通 信，以及与耦接到总线162的其它设备或者组件彼此通信。总线162表示多种类型的总线 结构中的一个或者多个，例如系统总线、PCI总线、IEEE 1394总线、USB总线等。
[0064] 出于说明目的，程序和其它可执行程序组件在本文中示出为离散块，虽然要理解， 这种程序和组件可以在不同时间处存在于计算设备150的不同存储组件中，并且由一个或 者多个处理器152来执行。可替换地，本文所描述的系统和程序可以以硬件、或者硬件、软 件和/或固件的组合来实现。例如，一个或者多个专用集成电路（ASIC)或者现场可编程门 阵列（FPGA)可以被编程，以执行本文所描述的系统和程序中的一个或者多个。
[0065] 图2A示出了在滚动读出模式下或者在传感器读出200期间使用的传感器的工作 周期。帧读出可以开始于垂线210并且可以由垂线210来表示。读出周期由对角线或者斜 线202表示。传感器可以逐行读出，向下的斜边缘的顶部为传感器顶行212并且向下的斜 边缘的底部为传感器底行214。最后一行读出和下一个读出周期之间的时间可以称为消隐 时间216。要注意，传感器像素行中的一些可以使用遮光罩（例如金属镀层或者另一个材料 类型的任何其它实质上的黑层）来覆盖。这些被覆盖的像素行可以称为光学黑体行218和 220。光学黑体行218和220可以用作输入，以用于校正算法。如图2A所示，这些光学黑体 行218和220可以位于像素阵列的顶部或者位于像素阵列的底部或者像素阵列的顶部和底 部。图2B示出了用于控制电磁辐射（例如即暴露于像素由此由像素集成或者累积的光）的 量的处理。要明白，光子为电磁辐射的基本粒子。光子由每个像素来集成、吸收或者累积， 并且转换成电荷或者电流。电子快门或者滚动快门（由虚线222所示）可以用于通过重置 像素来开始积分时间。然后，该光将集成直到下一个读出阶段为止。电子快门222的位置 可以在两个读出周期202之间移动，以针对给定数量的光来控制像素饱和度。要注意，该技 术允许两个不同线之间的恒定积分时间，但是当从顶部行移动到底部行时引入了延迟。图 2C示出了已经移除了电子快门222的情况。在该配置中，入射光的集成可以在读出202期 间开始并且在下一个读出周期202 (该下一个读出周期202也定义下一个集成的开始）处 结束。图2D示出在消隐时间216期间没有电子快门222但具有可控的且被脉冲调制的光 230的配置。这保证所有行看到由相同光脉冲230产生的相同光。换言之，每行将在黑暗 环境中开始其集成（其可以处于最大光脉冲宽度的读出帧（m)的光学黑体后行（optical black back row) 220处），并且然后将接收光的闪烁并且将在黑暗环境中结束其集成（其 可以处于最大光脉冲宽度的下一个随后的读出帧（m+1)的光学黑体前行（optical black front row) 218处）。在图2D的示例中，从光脉冲生成的图像将仅仅在帧（m)和（m+2)内 在没有任何干扰的情况下在帧（m+1)读出期间是可用的。要注意，具有仅在一个帧中读出 的光脉冲而没有相邻帧干扰的条件为在消隐时间216期间具有给定的光脉冲点燃。因为光 学黑体行218, 220是对光不敏感的，所以帧（m)的光学黑体后行220时间和帧（m+1)的光学 黑体后行218时间可以被增加到消隐时间216,以确定光脉冲230的点燃时间的最大范围。 如图2A所示，传感器可以多次循环，以接收用于每个脉冲调制的颜色（例如红色、绿色、蓝 色）的数据。每个循环可以是定时的。在一个实施例中，循环可以被定时为在16.67ms的 间隔内进行操作。在另一个实施例中，循环可以被定时为在8. 3ms的间隔内进行操作。要 明白，其它时序间隔由本公开预期并且旨在落入本公开的范围内。
[0066] 图3用图形示出了电磁发射器的实施例的操作。发射器可以被定时为与传感器 的周期一致，使得电磁辐射在传感器操作周期内和/或在传感器操作周期的一部分期间发 射。图3示出在302处的脉冲1、在304处的脉冲2以及在306处的脉冲3。在一个实施例 中，发射器可以在传感器操作周期的读出部分202期间进行脉冲调制。在一个实施例中，发 射器可以在传感器操作周期的消隐部分216期间进行脉冲调制。在一个实施例中，发射器 可以在两个或者多个传感器操作周期的部分期间的持续时间内进行脉冲调制。在一个实施 例中，发射器可以在消隐部分216期间或者在读出操作202的光学黑体部分220期间开始 脉冲，并且在读出部分202期间或者在下一个随后周期的读出部分202的光学黑体部分218 期间结束脉冲。要理解，只要发射器的脉冲和传感器的周期对应，上述的任何组合就旨在落 入本公开的范围内。
[0067] 图4用图形表示到控制曝光的发射的电磁脉冲（例如在402处的脉冲1、在404 处的脉冲2以及在406处的脉冲3)的不同持续时间和幅度。具有固定输出幅度的发射器 可以在关于图2D和图3上面注意的任何一个周期期间针对一个间隔被脉冲调制，以向像素 阵列提供所需要的电磁能量。具有固定输出幅度的发射器可以以更长的时间间隔被脉冲调 制，由此向像素提供更多的电磁能量，或者发射器可以以更短的时间间隔被脉冲调制，由此 提供较少的电磁能量。取决于操作条件而需要更长间隔时间或者较短间隔时间。
[0068] 与调整发射器脉冲固定输出幅度的时间间隔相比，发射幅度自身可以被增加，以 向像素提供更多电磁能量。同理，降低脉冲的幅度向像素提供较少的电磁能量。要注意，若 需要，系统的实施例可以具有同时调整幅度和持续时间的能力。此外，传感器可以被调整， 以针对最佳图像质量如期望那样增加其敏感性和持续时间。图4示出脉冲的不同幅度和持 续时间。在说明中，402处的脉冲1比404处的脉冲2或者406处的脉冲3具有较高的幅度 或者强度。此外，402处的脉冲1比404处的脉冲2或者406处的脉冲3具有较短持续时 间，使得由脉冲提供的电磁能量由在说明中示出的脉冲之下的区域来说明。在说明中，当与 402处的脉冲1或者406处的脉冲3相比较时，404处的脉冲2具有相对低的脉冲或者强度 和更长持续时间。最后，在说明中，当与402处的脉冲1和404处的脉冲2相比较时，406处 的脉冲3具有中间的幅度或者强度和持续时间。
[0069] 图5是根据本公开的原理和教义的组合操作周期、电磁发射器和图2至图4的发 射的电磁脉冲以在操作期间说明成像系统的本公开的实施例的图形表示。如图中可见到 的，电磁发射器在传感器的消隐时间段216期间对发射主要地进行脉冲调制，使得像素将 被充电并且在传感器周期的读出部分202期间准备好读取。如果需要或者期望额外时间脉 冲电磁能量，则（来自图3的）脉冲中的虚线部分示出了在读取周期（传感器周期）200的 光学黑体部分220和218期间发射电磁能量的可能性或者能力。
[0070] 现在参照图6至图9A，图6示出了针对全光谱光和分割光谱光的用于记录视频帧 的从t(0)到t(l)的时间段的两个不同过程的示意图。要注意，颜色传感器具有用于滤除 掉通常用于全光谱光接收的每个像素的光的特定波长的滤色阵列（CFA)。CFA的示例为贝 尔图案。因为颜色传感器可以包括阵列内的像素，这些像素被制成得对来自全光谱内的单 色敏感，所以减少的分辨率图像导致了，这是因为该像素阵列具有专用于全光谱内的光的 仅单色的像素间隔。通常，这种排列在整个阵列上形成了棋盘型图案。
[0071] 相反，当使用光的分割的光谱时，可以使传感器对所有光能的幅度敏感或者响应， 因为像素阵列将被指示为从每个周期中的电磁能量的全光谱的预先确定分割来感测电磁 能量。因此，为了形成图像，传感器仅需要使用来自光的全光谱内的多个不同分割来循环， 并且然后再组装该图像，以显示阵列上的每个像素的颜色值的预先确定的混合。因此，更 高分辨率图像也被提供，这是因为与用于每个颜色脉冲的相同颜色敏感性的像素中心之间 的贝尔传感器相比，其存在减少的距离。因此，形成的彩色图像具有较高的调制传递功能 (MTF)。因此来自每个颜色分割帧循环的图像具有较高的分辨率，所以当分割的光帧组合成 全颜色帧时创建的合成图像也具有较高分辨率。换言之，因为阵列内的每像素或者每个像 素（至多代替具有滤色器的传感器中的每隔一个像素）针对给定脉冲和给定场景正在感测 能量的幅度，正好是时间分离的部分，所以使用需要引入的较少派生的（较少准确的）数据 针对每个场景来创建较高分辨率图像。
[0072] 例如，白光或者全光谱可见光为红色光、绿色光和蓝色光的组合。在图6中示出的 实施例中，可以看见，在分割的光谱过程620和全光谱过程610中，采集图像的时间为t(0) 到t(l)。在全光谱过程610中，在612处发射白光或者全光谱电磁能量。在614处，感测 白光或者全光谱电磁能量。在616处，处理且显示该图像。因此，在t(0)和t(l)之间处理 且显示该图像。相反，在分割光谱处理620中，第一分割在622处被发射并且在624处被感 测。在626处，第二分割被发射并且然后在628处被感测。在630处，第三分割被发射并且 在632处被感测。在634处，处理并且显示该图像。要明白，使用比白光周期快至少两倍的 图形传感器周期的任何系统旨在落入本公开的范围内。
[0073] 如在时间t(0)和t(l)之间的图6所示的实施例中用图形可见的，用于分割光谱 系统620的传感器针对全光谱系统中的每一个周期循环了三次。在分割光谱系统620中，三 个传感器周期中的第一个为用于绿色光谱622和624,三个传感器周期中的第二个为用于 红色光谱626和628,并且三个传感器周期中的第三个为用于蓝色光谱630和632。因此， 在其中显不设备（LCD面板）以每秒50巾贞至60巾贞进行操作的一个实施例中，分割光系统应 当以每秒150帧至180帧进行操作来维持显示的视频的连续性和平滑性。
[0074] 在其它实施例中，可以存在不同的采集和显示帧速率。而且，平均采集速率可以为 显示速率的任何倍数。
[0075] 在一个实施例中，可以期望在系统帧速率内相等地表示并非所有分割。换言之，并 非所有光源务必使用相同规则来脉冲，以强调和不强调如由用户期望的记录场景的方面。 也应当理解，电磁光谱的非可见和可见分割可以在系统内一起被脉冲调制，其中它们相应 数据值缝合成如期望的视频输出，以用于向用户显示。
[0076] 实施例可以包括如下的脉冲循环图案：
[0077] 绿色脉冲；
[0078] 红色脉冲；
[0079] 蓝色脉冲；
[0080] 绿色脉冲；
[0081] 红色脉冲；
[0082] 蓝色脉冲；
[0083] 红外线（IR)脉冲；
[0084] (重复）。
[0085] 如在该示例中可见的，IR分割可以以与其它分割脉冲的速率不同的速率被脉冲调 制。这可以完成，以强调场景的特定方面，其中IR数据仅仅与视频输出中的其它数据重叠， 以完成期望强调。应当注意的是，第四电磁分割的添加未必需要序列化的系统，以全光谱非 连续系统的速率的四倍进行操作，因为每个分割未必在脉冲图案中相等地表示。如在本实 施例中看到的，以脉冲图案（在上面示例中的IR)较少表示的分割脉冲的添加将导致传感 器的循环速率的小于20%的增加，以容纳不规则分割样品。
[0086] 在一个实施例中，可以发射对用于突出场景方面的染色或者材料敏感的电磁分 害IJ。在本实施例中，足以在不需要高分辨率的情况下突出染色或者材料的位置。在这种实 施例中，染色敏感的电磁分割可以比系统内的其它分割更低频率循环，以包括强调的数据。
[0087] 分割周期可以被划分，以容纳或者估计各种成像和视频标准。在一个实施例中，分 割周期可以包括如下图7A至图7D中最好示出的红色光谱、绿色光谱以及蓝色光谱中的电 磁能量的脉冲。在图7A中，通过调制由垂直灰色虚线示出的工作范围内的光脉冲宽度或者 持续时间来实现不同光强度。在图7B中，通过调制光功率或者电磁发射器（其可以为激光 或者LED发射器）的功率但保持脉冲宽度或者持续时间恒定来实现不同光强度。图7C示 出了其中光功率和光脉冲宽度都被调制以导致更大灵活性的情况。分割周期可以通过使用 与可见脉冲源混合的非可见脉冲源和当前已知的或者还待开发的用于产生图像或者估计 期望视频标准所需要的任何其它颜色空间来使用CMY、IR以及紫外线。也应当注意的是，系 统可以能够在颜色空间之间立即切换，以提供期望图像输出质量。
[0088] 在使用颜色空间绿色-蓝色-绿色-红色（如图7D中看到的）的实施例中，可以 期望亮度分量比色差分量更频繁地进行脉冲调制，因为用户通常对光幅度差比对光色差更 敏感。可以使用如图7D所示的单色传感器来利用该原理。在图7D中，包含最多亮度信息 的绿色可以更频繁地被脉冲调制或者使用（G-B-G-R-G-B-G-R……）方案中更多强度来获得 亮度数据。这种配置在没有创建和传输察觉不出的数据的情况下将创建具有知觉更多细节 的视频流。
[0089] 在一个实施例中，复制较弱分割的脉冲可以用于产生针对较弱脉冲调整了的输 出。例如，蓝色激光相对基于硅的像素的敏感性被认为较弱，并且与红色光或者绿色光相比 难以产生，并且因此可以在帧周期期间更频繁脉冲，以对弱的光进行补偿。这些额外的脉冲 可以随着时间连续完成或者通过使用同时脉冲的多个激光来产生期望补偿效果。要注意， 通过在消隐期间（在传感器没有读出像素阵列的时间期间）脉冲，传感器对相同种类的激 光之间的差异或者误匹配不敏感，并且仅仅累积光，以用于期望输出。在另一个实施例中， 最大光脉冲范围可以从一巾贞到另一巾贞是不同的。这在其中光脉冲从一巾贞到另一巾贞是不同的 图7E中示出。该传感器可以被创建，以能够使用2巾贞或者3巾贞或者4巾贞或者n巾贞的重复图 案对不同消隐时间进行编程。在图7E中，示出了 4个不同的光脉冲，并且脉冲1可以例如 在脉冲4之后重复，并且可以具有不同消隐时间的4个帧的图案。该技术可以用于在最小 消隐时间上放置最强能力的分割，并且因此允许最弱分割在不需要增加读出速度的情况下 在其后帧中的一个帧上具有较宽脉冲。重建帧可以仍然从一帧到另一帧具有规则图案，因 此该重建帧由多个脉冲帧组成。
[0090] 如在图8中可见，因为光的每个分割的光谱可以具有不同的能量值，所以传感器 和/或光发射器可以被调整，以对能量值中的差进行补偿。在810处，可以分析从来自先前 帧的直方图中获得数据。在820处，可以如下注意地调整传感器。此外，在830处，可以调整 发射器。在840处，可以从来自传感器的调整的样品时间中获得图像，或者使用调整的（递 增的或者递减的）发射光来获得图像，或者上面的组合。例如，因为红色光谱比蓝色光谱在 系统内由传感器更容易检测，所以传感器可以被调整为在红色分割周期期间较少敏感的并 且在蓝色分割周期期间更敏感，由于蓝色分割相对于硅具有低量子效率（图9中最好示出 的）。同理，发射器可以被调整以提供调整的分割（例如，较高或者较低强度和持续时间）。 而且，可以在传感器和发射器两者等级处完成调整。针对特定应用若需要，发射器也可以被 设计为在一个特定频率处发射或者可以被改变来发射特定分割的多个频率，以加宽正在发 射的光谱。
[0091] 图10示出了非共享4T像素的示意图。TX信号用于将累计的电荷从光电二极体 (PPD)转移到浮置扩散（FD)。复位信号用于将FD复位到复位总线。如果复位信号和TX信 号同时"发生"，则pro为不断地复位（pro中生成的每个光电荷在复位总线处被直接收集） 并且pro总为空。通常的像素阵列实现方式包括：附接一行内的所有像素的复位信号的水 平复位线和附接一行内的所有像素的TX信号的水平TX线。
[0092] 在一个实施例中，示出了传感器敏感性调整的时序，并且可以使用全局复位机制 (即立刻点燃所有像素阵列复位信号的装置）和全局TX机制（即立刻点燃所有像素阵列TX 信号的装置）来实现传感器敏感性调整。这在图11中示出。在该情况中，光脉冲在持续时 间和幅度方面是恒定的，但是在所有像素中集成的光从全局TX的"接通"转变到"断开"开 始，并且以光脉冲结束。因此，调制通过移动全局TX脉冲的下降沿来实现。
[0093] 相反，发射器可以发射红光，该红光比蓝光具有较少的强度，以产生恰当曝光的图 像（在图12中最好示出）。在1210处，可以分析从来自先前帧的直方图中获得的数据。在 1220处，可以调整发射器。在1230处，可以从调整的发射光中获得图像。此外，在一个实施 例中，可以同时调整发射器和传感器二者。
[0094] 在一些实施例中，将分割的光谱帧重建成全光谱帧以用于随后输出就像混杂阵列 中的每个像素的感测值一样简单。此外，数值的混杂和混合可能仅仅是平均数，或者可以被 调谐为数值的预先确定的数值查找表（LUT)，以用于期望输出。在使用分割的光谱的系统的 实施例中，感测值可以为后处理的或者由图像或者次级处理器从传感器中轻微地进一步改 善，并且刚好才输出到显示器。
[0095] 图13示出了单色ISP和出于从现有的G-R-G-B光脉冲方案中生产的原传感器数 据中生成sRGB图像序列的目的ISP链可以如何被装配的1300处的基本示例。
[0096] 第一阶段涉及到更正（参见图13中的1302, 1304和1306)以对传感器技术中的 任何非理想因素进行解释，该传感器技术在原数据域中最适合于工作（参见图21)。
[0097] 在下一个阶段处，由于每个最后帧从三个原帧中获得数据，所以将缓冲两个帧 (参见图13中的1308和1310)。在1314处的帧重建将通过对来自当前帧和两个缓冲帧 (1308和/或1310)的数据进行取样来进行。该重建过程导致线性RGB颜色空间中的全颜 色帧。
[0098] 在该示例中，在1318处的白平衡系数和在1320处的颜色校正矩阵在转换到1322 处YCbCr空间以用于在1324处的随后边缘增强之前被施加。在1324处的边缘增强之后， 图像在1326被转换回到线性RGB以用于在1328处缩放，若可以的话。
[0099] 最后，在1330处的伽玛转移函数将被施加，以在1332处将数据转换到sRGB域。 [0100] 图14是颜色融合硬件的实施方式的示例。颜色融合硬件在1402处获得 RGBGRGBGRGBG视频数据流并且在1405处将其转换成平行RGB视频数据流。输入侧的位宽 可以为例如每种颜色12位。用于那个示例的输出宽度将为每个像素36位。其它实施例可 以具有不同的初始位宽度和输出宽度的数量的3倍。存储器写入器块在1402处将其呈现 输入RGBG视频流，并且在1404处将每个帧写入到其正确的帧存储器缓冲器（存储器写入 器引起运行激光源的相同脉冲发生器1410)。如在1404处示出，到存储器的写入跟着图案 ： 红色、绿色1、蓝色、绿色2并且然后开始再次返回到红色。在1406处，存储器读取器立刻读 取三帧，以构建RGB像素。每个像素为单独颜色分量的位宽的三倍。读取器在1410处也引 起激光脉冲发生器。读取器等待直到已经写入了红色帧、绿色1帧和蓝色帧，然后继续以将 它们平行读出，同时写入器继续写入绿色2并且开始返回到红色。当红色完成时，读取器开 始从蓝色、绿色2和红色开始读取。该图案无限期地继续。
[0101] 现在参照图15和图16,在一个实施例中，图16中示出的RG1BG2RG1BG2图案重建 允许60fps输出且使用120fps输入。每个连续帧包含来自先前帧的红色分量或者蓝色分 量。在图16中，每个颜色分量可用8. 3ms并且导致的重建帧具有16. 67ms的周期。通常， 针对该脉冲方案，重建帧具有入射的颜色帧的周期的两倍周期，如图15所示。在其它实施 例中，可以使用不同脉冲方案。例如，实施例可以基于每个颜色分量或者帧（TI)和具有入 射的颜色帧（2XTI)的周期的两倍周期的重建帧的时序。序列内的不同帧可以具有不同的 帧周期并且平均采集速率可以为最后帧速率的任何倍数。
[0102] 图17至图20示出了与分割的光系统一起使用的颜色校正方法和硬件的示意图。 在数字成像中操控图像数据内的数值以校正输出来满足用户期望或者突出成像目标的某 个方面是常见的。在被调谐和调整以在另一种数据类型上强调一种数据类型的卫星图像中 完成最常见的该方面。最经常，在卫星需要的数据中存在可用的电磁能量的全光谱，因为光 源不是可控的，即太阳为光源。相反，存在其中光是受控的且甚至由用户提供的成像条件。 在这种情形中，图像数据的校准仍然是可期望的，因为没有校准则不正确强度可能给到其 他数据上的特定数据。在其中光由用户控制的系统中，向用户提供已经的光发射是有利的， 并且光发射可能为电磁光谱的仅一部分或者全电磁光谱的多个部分。校准仍然是重要的， 以满足用户的期望并且检查系统内的错误。校准的一种方法可以为能够与来自传感器的数 据比较的给定成像条件的期望数值的表。一个实施例可以包括具有应当由成像设备输出的 已知数值的颜色中性场景，并且当该设备对颜色中性场景进行取样时，该设备可以被调整 以满足那些已知数值。
[0103] 在使用中，在开始之后，系统可以通过在1702处运行多个电磁光谱分割的全周期 来在1710处对颜色中性场景进行取样（如图17中示出）。数值表1708可以被形成，以在 1704处产生用于帧的直方图。在1706处，可以将帧的数值与来自颜色中性场景的已知的或 者期望的数值进行比较。然后在1712处，可以调整成像设备，以满足期望输出。在图17示 出的一个实施例中，该系统可以包括图像信号处理器（ISP)，该图像信号处理器可以被调整 以校正成像设备。
[0104] 要注意，因为光的每个分割光谱可以具有不同的能量值，所以传感器和/或光发 射器可以被调整，以对能量值中的差进行补偿。例如，在一个实施例中，因为关于基于硅的 成像器，蓝光光谱比红色光谱具有较低量子效率，所以传感器的响应性然后可以被调整为 在红色周期期间较少响应并且在蓝色周期期间较多响应。相反，发射器可以发射较高强度 的蓝光，因为蓝光比红光具有较低量子效率，以产生恰当曝光的图像。
[0105] 在其中光源发射被设置并且由系统可控的图18中示出的实施例中，可以完成那 些光发射的调整，以在1800处颜色校正图像。可以对发射光的任何方面例如幅度、持续时 间（即时间接通）或者光谱分割内的范围完成调整。此外，在一些实施例中可以同时调整 发射器和传感器二者，如图19所示。
[0106] 为了减少输出的图像流或者视频内的噪声和人工制品的数量，可以对系统内传感 器或者发射器分成几部分调整，如图20中可见。图20中示出了其中可以调整发射器2006 和传感器2008二者的系统2000,但是其中在使用期间或者部分使用期间调整发射器或者 传感器的成像设备也是预期的并且落入本公开的范围内。在使用的一部分期间仅调整发射 器和在使用的另一部分期间仅调整传感器，同时也在使用的一部分期间同时调整二者可能 是有利的。在上面实施例中的任一个中，可以通过限制系统可在帧周期之间完成的整个调 整来获得改进的图像。换言之，实施例可以被限制，使得发射器可以仅在帧之间的任何时间 处在其操作范围的一部分处被调整。同样，传感器可以被限制，使得传感器可以仅在帧之间 的任何时间处在其操作范围的一部分处被调整。而且，在一个实施例中，发射器和传感器二 者可以被限制，使得它们可以仅在帧之间的任何时间处在它们相应操作范围的一部分处被 一起调整。
[0107] 在示例性实施例，可以例如在分量的操作范围的大约IdB处执行系统内分量的部 分调整，以校正先前帧的曝光。IdB仅仅为示例，并且应当注意，在其它实施例中，分量的允 许调整可以为它们相应操作范围的任何部分。系统的分量可以通过强度或者持续时间调整 而变化即通常由分量输出的位（分辨率）的数量来管理。分量分辨率可以通常为大约10 位至24位的范围，但是应当不限于该范围，因为它旨在包括除了当前可用的那些之外的还 在发展中的分量的分辨率。例如，在第一帧之后，确定了场景在观察时太蓝，然后发射器可 以被调整，以在系统的蓝色周期期间将蓝光的脉冲的幅度或者持续时间降低了部分调整如 上所讨论的，例如大约IdB。
[0108] 在该示例性实施例中，可能需要超过10%，但是该系统已经限制自身到每个系统 周期的操作范围的IdB调整。因此，在下一个系统周期期间，可以再次调整蓝光，若需要。周 期之间的部分调整可以具有输出图像的衰减效应，并且当在发射器和传感器的操作极端下 操作它们时将减少噪声和人工制品。可以确定了调整的分量的操作范围的任何部分数量可 以用作限制因素，或者可以确定了系统的特定实施例可以包括在它们整个操作范围上可以 调整的分量。
[0109] 此外，任何图像传感器的光学黑体区域可以用于辅助图像校正和噪声减少。在一 个实施例中，从光学黑体区域中读取的数值可以与传感器的有效像素区域的那些相比较， 以建立用在图像数据处理中的参考点。图21示出了可以在颜色脉冲的系统中使用的这种 传感器校正处理。COMS图形传感器通常具有多个非理想因素，这些非理想因素对图像质量 具有伤害作用，特别是低光。这些非理想因素中的主要部分是固定的图案噪声和线路噪声。 固定的图案噪声为感测元件的偏移中的散布。通常大部分FPN为像素到像素的散布，在其 它源中，这起源于从光电二极管到光电二极管的暗电流中的随机变化。这对观察者而言看 起来非常反常。甚至更过分的为列PFN，起因于与特定像素列相关联的读出链中的偏移。这 导致图像内的感知到的垂直条纹。
[0110] 照明的总量控制具有暗数据的整个帧可以周期地被获得并且用于对像素和列偏 移进行校正的益处。在示出的示例中，单个帧缓冲器可以用于通过使用例如简单指数平滑 来完成没有光的情况下的整个帧的运行平均。该暗平均帧在规律操作期间从每个照亮的帧 中减去。
[0111] 线路噪声为每个行内的像素偏移中的随机临时变化。由于它是临时的，所以必须 针对每个线路和每个帧重新计算校正。出于该目的，通常在阵列中的每个行内存在多个光 盲（OB)像素，这必须首先被取样，以在对光敏感像素取样之前评估线路偏移。然后，在线路 噪声校正处理期间仅仅减去线路偏移。
[0112] 在图21中的示例中，存在其它校正，该校正涉及使数据具有适当顺序，在模拟域 (黑夹具）中监视并且控制电压偏移，并且识别/校正单独的有缺陷的像素。
[0113] 图22和图23示出了用于在封闭或者有限光环境内增加动态范围的方法和硬件示 意图。在一个实施例中，曝光输入可以随着时间以不同等级被输入，并且组合，以产生更大 动态范围。如可在图22中看到，成像系统可以在2202处以第一周期的第一强度进行循环， 并且随后在2204处以第二周期的第二强度进行循环，并且然后通过在2206处将第一周期 和第二周期的那些组合成单个帧，使得可以实现更大动态范围。更大动态范围可能是特别 期望的，因为其中使用了成像设备的有限空间环境。在光不足或者暗的有限空间环境中，曝 光具有到距离的指数关系。例如，光源附近的目标和成像设备的光学开口附近的目标趋向 于暴露，同时在远方的目标趋向于极其欠曝光的，因为存在很少（任何）的环境光。
[0114] 如在图23中可见的，具有多个分割中的电磁能量的发射的系统的周期可以在 2300处根据电磁光谱的分割而连续循环。例如，在其中发射器发射明显红色分割、明显蓝色 分割以及明显绿色分割的激光的实施例中，将要被组合的两个周期数据集合可以为以下形 式：
[0115] 在2302处的强度一的红色，
[0116] 在2304处的强度二的红色，
[0117] 在2302处的强度一的蓝色，
[0118] 在2304处的强度二的蓝色，
[0119] 在2302处的强度一的绿色，
[0120] 在2304处的强度二的绿色。
[0121] 可替换地，系统可以以下面的形式来循环：
[0122] 在2302处的强度一的红色，
[0123] 在2302处的强度一的蓝色，
[0124] 在2302处的强度一的绿色，
[0125] 在2304处的强度二的红色，
[0126] 在2304处的强度二的蓝色，
[0127] 在2304处的强度二的绿色。
[0128] 在这种实施例中，第一图像可以从强度一数值中来获得，并且第二图像可以从强 度二数值中来获得，并且然后在2310处作为完整的图像数据集合而不是它们分量部分来 被组合或者处理。
[0129] 可以以任何顺序使用任何数量的发射分割被期望在本公开的范围内。如图23中 可见，"n"用作变量，以表示电磁分割的任何数量，并且"m"用于表示用于"n"个分割的强 度的任何电平。这种系统可以以下面形式来循环：
[0130] 在2306处的强度m的n，
[0131]在强度（m+1)处的（n+1)，
[0132]在强度（m+2)处的（n+2)，
[0133] 在2308处的强度（m+j)处的（n+i)。
[0134] 因此，序列化循环的任何图案可以用于产生期望图像校正，其中，"i"和"j"为成 像系统的操作范围内的额外值。
[0135] 出于最大化颜色再现的保真度的目的，数字颜色相机包括图像处理阶段。这借由 被称为颜色校正矩阵（CCM)的3X3矩阵来完成：

【权利要求】
1. 一种用于在环境光不足环境中数字成像的系统，包括： 成像传感器，包括用于感测电磁辐射的像素阵列； 内窥镜，用于接近环境光不足环境； 手持件，其附接到所述内窥镜，并且其中，所述内窥镜由所述手持件的操纵来机动； 控制单元，包括处理器，并且其中所述控制单元与成像传感器电通信； 发射器，其被配置为发射电磁辐射脉冲；并且 控制器，其被配置为协调发射器和成像传感器，以产生数字视频流。
2. 根据权利要求1所述的系统，其中，所述系统还包括将手持件和控制单元电连接的 连接电缆。
3. 根据权利要求1所述的系统，其中，所述成像传感器为单色传感器。
4. 根据权利要求1所述的系统，其中，所述发射器被配置为发射多个电磁波长。
5. 根据权利要求4所述的系统，其中，所述发射器被配置为发射三个电磁波长。
6. 根据权利要求5所述的系统，其中，由发射器发射的所述三个电磁波长包括： 绿色的电磁辐射波长， 红色的电磁辐射波长，以及 蓝色的电磁辐射波长。
7. 根据权利要求6所述的系统，其中，所述蓝色、红色、绿色的电磁辐射波长均以图案 被发射。
8. 根据权利要求7所述的系统，其中，绿色波长在所述图案中被两倍于红色波长和蓝 色波长表不。
9. 根据权利要求1所述的系统，其中，由发射器发射的电磁辐射脉冲为对于人类可见 的波长。
10. 根据权利要求1所述的系统，其中，由发射器发射的电磁辐射脉冲为对于人类不可 见的波长。
11. 根据权利要求4所述的系统，其中，多个电磁波长包括对人类可见的波长和对人类 不可见的波长。
12. 根据权利要求4所述的系统，其中，多个电磁波长以不同幅度被发射。
13. 根据权利要求12所述的系统，其中，不同幅度对不同波长的成像传感器的敏感性 进行补偿。
14. 根据权利要求1所述的系统，其中，成像传感器被布置内窥镜内在所述内窥镜相对 于手持件的远端部分处。
15. 根据权利要求1所述的系统，其中，成像传感器被布置在手持件内。
16. 根据权利要求1所述的系统，其中，电磁福射脉冲通过光纤从发射器传输到内窥镜 的尖端。
17. 根据权利要求2所述的系统，其中，连接电缆包括用于将电磁辐射从发射器传输到 内窥镜的光纤，并且其中，连接电缆还包括用于提供从控制单元到成像传感器的电通信的 导电线。
18. 根据权利要求1所述的系统，其中，所述控制器被布置在控制单元内并且与发射器 和成像传感器电通信。
19. 根据权利要求1所述的系统，其中，所述控制器被布置在手持件内并且与发射器和 成像传感器电通信。
20. 根据权利要求1所述的系统，其中，所述发射器为被配置为发射激光的激光发射 器。
21. 根据权利要求20所述的系统，其中，还包括去散斑器，用于对激光进行均匀弥散。
22. 根据权利要求1所述的系统，其中，所述发射器包括发光二极管。
23. 根据权利要求1所述的系统，其中，所述像素阵列包括多个像素子集，其中，多个像 素子集中的每一个具有不同敏感性。
24. 根据权利要求23所述的系统，其中，不同像素子集的敏感性的变化由单独的全局 曝光时间来实现。
25. 根据权利要求24所述的系统，其中，所述电磁辐射的组分在不同曝光时间期间变 化。
26. -种在环境光不足环境中与内窥镜一起使用的数字成像方法，包括： 激励发射器发射电磁辐射波长的脉冲，以导致光不足环境内的照明； 其中，所述脉冲位于包括电磁光谱的第一部分的第一波长范围内； 以预先确定的间隔来对所述发射器进行脉冲调制； 使用像素阵列感测来自所述脉冲的反射的电磁辐射； 其中，所述像素阵列以与所述发射器的脉冲间隔对应的感测间隔被激励； 以与所述感测间隔对应的预先确定的消隐间隔消隐所述像素阵列； 通过将多个感测出的反射的电磁辐射组合成帧来创建图像流。
27. 根据权利要求26所述的方法，其中，所述方法还包括：使用位于发射器和场景之间 的照明路径中的去散斑设备来对帧进行去散斑。
28. 根据权利要求26所述的方法，还包括：消解来自发射器的电磁辐射的所述脉冲，以 在光不足环境内对所述光束进行弥散。
29. 根据权利要求26所述的方法，还包括：激励发射器依次发射多个电磁辐射的脉冲， 以导致照明， 其中，第一脉冲处于为电磁光谱的仅一部分的第一范围内， 其中，第二脉冲处于为电磁光谱的仅一部分的第二范围内， 其中，第三脉冲处于为电磁光谱的仅一部分的第三范围内， 以预先确定的间隔来对所述脉冲进行脉冲调制， 其中，以与所述第一脉冲的脉冲间隔对应的第一感测间隔激励所述像素阵列， 其中，以与所述第二脉冲的脉冲间隔对应的第二感测间隔激励所述像素阵列， 其中，以与所述第三脉冲的脉冲间隔对应的第三感测间隔激励所述像素阵列。
30. 根据权利要求26所述的方法，还包括：激励所述发射器不发射用于校准间隔的光， 并且在所述校准间隔期间激励所述像素阵列。
31. 根据权利要求30所述的方法，还包括：如果所述像素阵列在所述校准间隔期间感 测光则停止进一步脉冲。
32. 根据权利要求30所述的方法，其中，所述消隐间隔与所述第一光束、第二光束、第 三光束的任何间隔不并发。
33. 根据权利要求30所述的方法，其中，所述消隐间隔与所述第一脉冲、第二脉冲以及 第三脉冲的任何间隔的一部分并发。
34. 根据权利要求29所述的方法，其中，所述脉冲为绿色可见光谱范围，并且其中，所 述第二脉冲为红色可见光谱，并且其中所述第三脉冲为蓝色可见光谱。
35. 根据权利要求29所述的方法，其中，所述脉冲中的一个来自电磁光谱的非可见范 围。
36. 根据权利要求29所述的方法，其中，所述传感器被配置为同等地感测所述第一脉 冲、第二脉冲和第三脉冲中的任一个。
37. 根据权利要求29所述的方法，其中所述传感器被配置为感测所述电磁光谱的任何 光谱范围。
38. 根据权利要求26所述的方法，其中，所述像素阵列包括多个像素子集，其中，多个 像素子集中的每一个具有不同的敏感性。
39. 根据权利要求38所述的方法，其中，不同像素子集的敏感性的变化由单独的全局 曝光时间来实现。
40. 根据权利要求39所述的方法，其中，在不同曝光时间期间改变所述电磁辐射的组 分。
41. 根据权利要求38所述的方法，还包括出于延伸系统的动态范围的目的使用所述多 个像素敏感性。
42. 根据权利要求38所述的方法，其中，多个像素敏感性用于延伸系统的动态范围的 目的。
43. -种用于在环境光不足环境中数字成像的系统，包括： 成像传感器，包括用于感测电磁辐射的像素阵列； 内窥镜，用于接近环境光不足环境； 手持件，其附接到所述内窥镜，并且其中，所述内窥镜由所述手持件的操纵来机动； 控制单元，包括处理器，并且其中所述控制单元与成像传感器电通信； 发射器，其被配置为发射电磁辐射脉冲； 控制器，其被配置为协调发射器和成像传感器，以产生数字视频流；并且 其中，发射器通过控制器电耦接到成像传感器，使得在成像传感器的消隐周期期间发 射器发射光脉冲的一部分。
44. 根据权利要求43所述的系统，其中，脉冲包括持续时间，其中，光脉冲的持续时间 在图像传感器的消隐周期期间开始并且在图像传感器的消隐周期期间内终止。
45. 根据权利要求43所述的系统，其中，脉冲包括持续时间，其中，光脉冲的持续时间 在图像传感器的消隐周期期间开始并且在图像传感器的消隐周期之后终止。
46. 根据权利要求43所述的系统，其中，脉冲包括持续时间，其中，光脉冲的持续时间 在图像传感器的消隐周期之前开始并且在图像传感器的消隐周期之后终止。
47. 根据权利要求43所述的系统，其中，脉冲包括持续时间，其中，光脉冲的持续时间 在图像传感器的消隐周期之前开始并且在图像传感器的消隐周期期间终止。
48. 根据权利要求43所述的系统，其中，图像传感器包括光学黑体像素，其中，光学黑 体像素包括光学黑体前像素和光学黑体后像素。
49. 根据权利要求48所述的系统，其中，脉冲包括持续时间，其中，光脉冲的持续时间 在图像传感器的消隐周期期间开始并且在当传感器读出光学黑体前像素时终止。
50. 根据权利要求48所述的系统，其中，脉冲包括持续时间，其中，光脉冲的持续时间 在当传感器读出光学黑体后像素时开始并且在当读出图像传感器的光学黑体前像素之后 终止。
51. 根据权利要求43所述的系统，其中，脉冲包括持续时间，其中，光脉冲的持续时间 在图像传感器的消隐周期之前开始并且在图像传感器的消隐周期期间终止。
52. 根据权利要求43所述的系统，其中，发射器被配置为发射多个电磁波长。
53. 根据权利要求52所述的系统，其中，发射器被配置为发射三个电磁波长。
54. 根据权利要求53所述的系统，其中，由发射器发射的三个电磁波长包括： 绿色的电磁辐射波长， 红色的电磁辐射波长，以及 蓝色的电磁辐射波长。
55. 根据权利要求54所述的系统，其中，所述蓝色、红色、绿色的电磁辐射波长以图案 被发射。
56. 根据权利要求55所述的系统，其中，绿色波长在图案中被两倍于红色波长和蓝色 波长表不。
57. 根据权利要求43所述的系统，其中，由发射器发射的电磁辐射脉冲为对于人类可 见的波长。
58. 根据权利要求43所述的系统，其中，由发射器发射的电磁辐射脉冲为对于人类不 可见的波长。
59. 根据权利要求52所述的系统，其中，多个电磁波长包括对人类可见的波长和对人 类不可见的波长。
60. 根据权利要求52所述的系统，其中，多个电磁波长以不同幅度被发射。
61. 根据权利要求60所述的系统，其中，不同幅度对不同波长的成像传感器的敏感性 进行补偿。
62. 根据权利要求43所述的系统，其中，成像传感器被布置在内窥镜内在所述内窥镜 相对于手持件的远端部分处。
63. 根据权利要求43所述的系统，其中，成像传感器被布置在手持件内。
64. 根据权利要求43所述的系统，其中，电磁福射脉冲通过光纤从发射器传输到内窥 镜的尖端。
65. 根据权利要求43所述的系统，其中，所述系统还包括用于将手持件与控制单元电 连接的连接电缆，其中，所述连接电缆包括用于将电磁辐射从发射器传输到内窥镜的光纤， 并且其中，连接电缆还包括用于提供从控制单元到成像传感器的电通信的导电线。
66. 根据权利要求43所述的系统，其中，所述控制器被布置在控制单元内并且与发射 器和成像传感器电通信。
67. 根据权利要求43所述的系统，其中，所述控制器被布置在手持件内并且与发射器 和成像传感器电通信。
68. 根据权利要求43所述的系统，其中，所述发射器为被配置为发射激光的激光发射 器。
69. 根据权利要求68所述的系统，其中，还包括去散斑器，用于对激光进行均匀弥散。
70. 根据权利要求43所述的系统，其中，所述发射器包括发光二极管。
71. 根据权利要求43所述的系统，其中，所述发射器对白光进行脉冲调制。
72. 根据权利要求43所述的系统，其中，所述发射器发射恒定白光。
73. 根据权利要求43所述的系统，其中，所述脉冲包括来自被同时脉冲调制以增加脉 冲功率的相同分割内的多个脉冲。
74. 根据权利要求73所述的系统，其中，脉冲通过使用同时脉冲调制以产生期望补偿 效果的多个激光来产生。
75. 根据权利要求43所述的系统，其中，成像传感器包括单色像素阵列。
76. 根据权利要求52所述的系统，其中，所述电磁辐射由脉冲持续时间来控制和调整。
77. 根据权利要求52所述的系统，其中，传感器的多个像素包括可控的和可调整的第 一敏感性和第二敏感性，其中，电磁辐射由多个像素的传感器敏感性的调整来控制和调整。
78. -种用于在环境光不足环境中数字成像的系统，包括： 成像传感器，包括用于感测电磁辐射的像素阵列； 控制单元，包括控制器，并且其中所述控制单元与成像传感器电通信； 发射器，其被配置为发射电磁辐射脉冲； 其中，发射器通过控制器电耦接到成像传感器，使得在传感器的消隐周期期间发射器 发射光脉冲的一部分，并且 其中，控制器被配置为同步发射器和成像传感器，以产生数字视频流。
【文档编号】A61B1/06GK104486986SQ201380039244
【公开日】2015年4月1日 申请日期:2013年7月26日 优先权日:2012年7月26日
【发明者】洛朗·布朗卡尔, 乔舒亚·D·塔尔伯特, 唐纳德·M·维歇恩, 约翰·理查森, 耶利米·D·亨利 申请人:橄榄医疗公司