综合固定模式噪声消除的制作方法
【技术领域】
[0001] 科技的进步已提供了医用成像能力的进步。由于在构成内窥镜的部件方面的进 步，内窥镜外科手术成为享受一些最有利进步的一个领域。
[0002] 本公开整体涉及减少视频流中由电磁传感器生成的固定模式噪声，以改善图像质 量，使数据在低亮度下看起来更自然，以及改善色彩准确度。本公开的特征和优势将在下面 的【具体实施方式】中描述，并且从一定程度而言，【具体实施方式】可显而易见地说明这些特征 和优势，也可在不过度开展试验的情况下通过对本公开进行实践来了解这些特征和优势。 本公开的特征和优势可以通过所附权利要求中具体指出的器械和组合来实现和获得。
【附图说明】
[0003] 下文结合附图描述本公开的非限制性和不完全具体实施，其中除非另外指明，相 同的附图编号指多个附图中的类似部件。结合下述【具体实施方式】和附图，可以更好地理解 本公开的优势。
[0004] 图1A示出了现有技术像素阵列；
[0005] 图1B示出了根据本公开原理和教导内容的像素阵列；
[0006] 图2示出了根据本公开原理和教导内容的图像传感器读出操作的图形表示；
[0007] 图3示出了根据本公开原理和教导内容的图像传感器读出操作的图形表示；
[0008] 图4示出了根据本公开原理和教导内容的图像增强的图形表示；
[0009] 图5示出了根据本公开原理和教导内容的图像增强的图形表示；
[0010] 图6示出了根据本公开原理和教导内容的图像增强的流程图；
[0011] 图7示出了根据本公开原理和教导内容的硬件支持和使能的原理图；
[0012] 图8A和8B分别示出了单片传感器的一个具体实施的透视图和侧视图，该单片传 感器具有根据本公开教导内容和原理用于产生三维图像的多个像素阵列；
[0013] 图9A和9B分别示出了在多个基板上构建的图像传感器的一个具体实施的透视图 和侧视图，其中形成像素阵列的多个像素列位于第一基板上，并且多个电路列位于第二基 板上，并示出了一个像素列至其相关联或对应的电路列之间的电气连接和通信；以及
[0014] 图10A和10B分别示出了图像传感器的一个具体实施的透视图和侧视图，该图像 传感器具有用于产生三维图像的多个像素阵列，其中多个像素阵列与图像传感器构建在多 个基板上。
【具体实施方式】
[0015] 本公开涉及主要适用于医疗应用的数字成像的方法、系统和基于计算机的产品。 本公开的下述描述将参考形成本文一部分的附图，其中以图示方式示出了可实践本公开的 特定具体实施。应当理解，在不脱离本公开范围的前提下可利用其他具体实施以及结构改 变。
[0016] 在公开和描述用于在已消除固定模式噪声的光线不足环境中产生图像的结构、系 统和方法之前，应当理解，本公开并不限于本文所公开的结构、配置、过程步骤和材料，因为 这些结构、配置、过程步骤和材料可能略有不同。还应当理解，本文所用的术语仅为了描述 具体实施例，并不旨在进行限制，因为本公开的范围将仅由所附权利要求书及其等效内容 来限定。
[0017] CMOS图像传感器具有多个噪声源，噪声源的量级和外形取决于一系列物理条件。 不具有相干分量（例如，光子散粒噪声或源极跟随器Ι/f读噪声）的纯泊松或高斯时间噪 声看起来与视频流内的噪声一样自然。在相同的振幅下，所有其他可感知的噪声类型将更 大程度地降低图像质量。空间噪声（FPN)尤其令人震惊，并且CMOS传感器固有至少两个源： 像素 FPN和列FPN。像素 FPN主要由于各像素之间光电二极管泄露电流（暗信号）（DSNU) 发生变化。该源与结温度（T;)成指数关系，与曝光时间成线性关系。列FPN是读出架构造 成的，其中来自相同列内的像素通过通用模拟读出元件输送。
[0018] 图像传感器通常结合有特殊用途的光学盲（有时称为光学黑（0B))、行110a(位于 阵列顶端和/或底端）和列120a(在阵列的左侧和/或右侧），目的是为了校正偏移。在 图1A中，示出了现有技术图像传感器100a的示例布局，该传感器在像素阵列130a和保护 环140a中包含清晰的像素，并且具有0B顶行和底行110a以及0B左列和右列120a。应当 理解，对于0B钳位算法，0B行110a通常用于监测模拟像素黑电平。数字算法也可以使用 0B行110a来消除列FPN(CFPN)。另一方面，0B列120a通常用于估算线偏移，作为消除任 何线噪声的手段。由于线噪声基于时间，因此可以为每个帧中的每条线重新计算偏移。
[0019] 在描述和要求保护本公开的主题时，将根据下文的定义使用下列术语。
[0020] 应当注意，在本文和所附权利要求中使用的，单数形式"一种"、"一个"和"该"包 括多个所指物，除非上下文中明确表示其他含义。
[0021] 如本文所用，术语"包含"、"包括"、"含有"、"其特征在于"以及语法上等同形式为 专用术语或开放式术语，不排除其他未叙述的要素或方法步骤。
[0022] 如本文所用，术语"由...组成"及其语法上等同形式排除未在权利要求中指出的 任何要素或步骤。
[0023] 如本文所用，短语"主要由...组成"及其语法上等同形式将权利要求的范围限制 于指出的材料或步骤以及本质上不影响被要求保护的本公开的一种或多种基本及新颖特 征的材料或步骤。
[0024] 如本文所用，术语"近侧"泛指最靠近原点的部分的概念。
[0025] 如本文所用，术语"远侧"通常是指近侧的相对侧，因此是指离原点较远部分或最 远部分的概念，具体视上下文而定。
[0026] 如本文所用，颜色传感器或多谱传感器是已知其上具有颜色滤波阵列（CFA)的传 感器，以便过滤传入的电磁辐射使其进入单独的分量。在电磁波谱的可视范围内，此类CFA 可以拜耳模式或变型构建，以分离光线的绿色、红色、蓝色谱分量。
[0027] 现在参见图1B，在空间受限的环境中，可能希望尽可能减小传感器100的非光敏 部分，以最大化光敏元件的面积，从而保持图像质量。在传感器和相机系统作为一个整体的 层面上，可以采用多种手段来减小CMOS传感器中非光敏元件的面积。减小CMOS传感器中 非光敏元件面积的一种具体实施可为消除本文所述的0B行，这实质上消除了基于0B列的 固定模式噪声（CFPN)消除方法。CFPN消除要求每列通常为10至100像素的黑色像素数 据，以在读出清晰像素130之前修正列范围的随机偏移。因此，如果减少或消除OB行，需要 一种替代FPN修正算法。
[0028] 应当理解，本公开描述了多种系统和方法，若采用这些系统和方法，可以通过获取 黑色数据帧来消除所有FPN类型，包括CFPN，从而基本上（也可能是完全）不需要专用CFPN 修正及其相关联的0B行。图1B示出了没有0B行的像素阵列130的示例。可以使用存储 器的关传感器帧来存储每个像素的校正数据并随后在像素级消除所有FPN源。尽管黑色帧 校正比CFPN算法需要更多存储器，但由于可消除或显著减少所有FPN源（例如，列FPN、像 素 FPN和行FPN)，因此可能存在优势。
[0029] 现在参见图2,其中示出了用于滚动读出模式或传感器读出200期间的传感器的 运行周期。帧读出可从垂线210开始，并且可由垂线210表示。读出期由对角线或斜线202 表示。可逐行读出传感器，向下倾斜边缘的顶端作为传感器顶行212,并且向下倾斜边缘的 底端作为传感器底行214。最后一行读出和下一个读出周期之间的时间可称为消隐时间或 消隐期216。
[0030] 应当指出的是，一些传感器像素行可能覆盖有遮光片（例如，金属涂层或另一种 材料类型的任何其他基本上为黑色的层）。这些被覆盖的像素行可称为光学黑行218和 220。光学黑列218和220可用作修正算法的输入。类似于图1B中所示，这些光学黑列218 和220可位于像素阵列的任一侧。图2