近红外引导的图像去噪的制作方法
【技术领域】
[0001] 本发明涉及包含去噪过程的成像系统和方法。特定来说，本发明涉及使用近红外 图像引导去噪过程的系统和方法。
【背景技术】
[0002] 在低光照条件下拍摄高质量照片和视频可能具有挑战性。在无足够的环境光的情 况下，摄影者通常具有四个选择来增加图片质量。第一选择是在俘获图像时使用高ISO。增 加传感器增益可有效增加信号强度以在短曝光时间内获得明亮的图像。然而，图像噪声也 必然增加，因此信噪比（SNR)并未改进。
[0003] 第二选择是使用较大孔径俘获图像。允许较多光穿过相机透镜是改进图像质量的 极其简单的方式，然而改变孔径尺寸还会影响景深。此外，当传感器和透镜已经建置以适应 小形状因数（例如，蜂窝式电话相机）时，效果极其有限。
[0004] 第三选择是使用长曝光时间来俘获图像。延长的曝光时间可增加 SNR，但可增加所 俘获图像中不当的运动模糊。
[0005] 第四选择是向场景采用闪光灯或其它强人造光以便获得无尖锐噪声的图像。然 而，因为闪光灯的色温和强度通常与环境光的色温和强度有很大不同，所以闪光灯的使用 可能毁坏周围环境且引入不必要的假影（例如红眼）、不当的反射、令人讨厌的阴影，以及 剧烈的高光和反射。
[0006] 在以上四个选择中，摄影者通常偏爱使用高ISO图像且向所俘获图像应用噪声减 少。图像去噪是集中地研究的问题，且存在大量方法。然而，即使在当前技术水平图像去噪 方法的情况下，仍极难获得高质量无噪声照片，尤其在噪声级为高时。
[0007] 常规单图像去噪解决方案由若干不同方法构成。基于图像滤波的方法选择性地使 有噪声图像的部分平滑。基于小波的方法依赖于小波系数的谨慎缩减。基于图像先前方法 从无噪声图像借用词典且通过使用词典中的元素的稀疏线性组合将其近似而对图像去噪。 更为新近的方法采用自然图像的"非局部"属性：自然图像中的小补丁倾向于在图像内本身 重复。在上一个类别的方法中，BM3D较好地表示单图像去噪的当前技术发展水平。然而， 单图像去噪方法的共同基本问题是，其不能区分噪声和原始图像信号，尤其是相对于较精 细图像细节。因此，那些方法对于具有相对低噪声级的图像产生适当良好的质量结果，但对 于含有高噪声级的图像通常产生具有许多假影的过分平滑的结果。
[0008] 在试图解决上文描述的单图像去噪方法的局限性时，双图像方法引入另一图像来 引导去噪过程。俘获同一场景的两个图像。随后应用使用第二图像的引导的第一图像的图 像滤波以较好地保留图像结构，且可应用图像细节传递来增强精细图像细节。举例来说，可 在与第一图像不同的照明条件下俘获引导图像，且因此所述引导图像可含有图像场景的不 同细节水平。引导图像中的额外细节可用于增强第一图像的质量。第一类型的双图像去噪 方法使用可见闪光灯图像作为引导图像。然而，此方法可容易使弱边缘模糊且引入来自引 导图像的假影。另外，可见闪光灯在低光条件下使用具有侵入性，且在特定环境中甚至是禁 止的。
[0009] 最近，已出现第二类型的双图像去噪方法，其使用"不可见闪光灯"（例如，使用近 红外或超紫光的闪光灯）以便俘获可见光频带外部的图像，且使用所述"暗闪光灯"图像来 帮助对对应可见光图像去噪。可采用经由简单泊松等式的梯度传递用于使用暗闪光灯图像 作为参考对可见光图像去噪。此些方法能够同时执行去噪和细节传递，且有时实现高质量 去噪结果。然而，来自暗闪光灯图像的梯度约束可能太具试探性且不能较好地适于处置可 见光图像与暗闪光灯图像之间的差异。此产生去噪结果中明显的外观改变，尤其当处置具 有集中噪声的图像时。
【附图说明】
[0010] 现将参看以下图式描述本发明的特定实施方案，图式是借助于实例而非限制而提 供。
[0011] 图1为根据一个实施方案的多光谱成像系统的示意框图；
[0012] 图2为根据一个实施方案用于俘获特定场景的多光谱图像数据的方法的实施例 的流程图；
[0013] 图3A说明实例RGB和NIR图像；
[0014] 图3B说明图3A的RBG图像的红、绿和蓝通道的各区以及图3A的NIR图像的对应 区；
[0015] 图4为用于产生梯度比例图且使用所述梯度比例图用于去噪的方法的实施例的 流程图；以及
[0016] 图5说明去噪过程的各种步骤处的图像的实例。
【具体实施方式】
[0017] 本文中所揭示的实施方案提供用于图像去噪应用的系统、方法和设备。举例来说， 如本文中所阐释，可能需要使用例如近红外（NIR)图像等对应暗闪光灯图像从有噪声可见 光图像处理高质量图像。尽管实施例在本文中描述为采用NIR图像，但应了解，也可使用红 外和紫外闪光灯图像。本文中所揭示的实施方案可用于俘获相同图像场景的一对可见光 (例如RGB和NIR)图像。在去噪过程期间，可见光和NIR图像可以像素基础对准，且可引入 梯度比例图以使经对准可见光和NIR图像的梯度场使相关。
[0018] 可基于可见光图像的梯度向量与NIR图像的梯度向量之间的差异和类似性而产 生梯度比例图。梯度向量可用于检测图像中的像素区之间强度值的连续性和不连续性。连 续性和不连续性可表示图像中对象的边界、场景照明的变化、深度的不连续性，和材料特性 的改变。
[0019] 可通过利用水平和垂直导数滤波器卷积图像而确定每一像素处图像的梯度向量。 举例来说，可针对例如NIR与可见光图像之间的重叠区等像素群组计算沿着X和y方向的 梯度向量。在一些实施例中，可通过利用水平和垂直导数滤波器卷积图像而计算梯度向量。 对于所考虑的每一像素群组，可应用导数滤波器计算水平和垂直方向中的第一或第二导 数，表示像素强度值的水平和垂直改变。此产生梯度向量值，其可指派到像素群组中的中心 像素。因此，每一像素周围的区中的强度值可用于近似所述像素处的对应梯度向量值。图 像中像素的梯度向量值可组合以计算梯度量值向量和梯度方向向量。梯度方向向量和梯度 量值向量提供关于对象边界的位置以及关于所述边界的任一侧上像素的区的不同强度值 的信息。举例来说，对象边界像素可位于梯度量值的局部极大值处。
[0020] 为了促进本文中所描述的去噪方法，可见光图像和NIR图像可以逐像素基础对准 且裁剪到重叠区。可通过计算可见光图像的梯度向量与NIR图像中的梯度向量的值之间的 差或比率而产生梯度比例图。梯度比例图相应地俘获图像之间的结构偏差和类似性的性 质，且可具有用于本文所描述的去噪过程中的清晰统计和数值含义。
[0021] 在一些实施例中，可向梯度比例图指派每一像素位置的正值或负值。举例来说，正 值可指示存在边缘或结构，其具有可见光图像和NIR图像两者中的类似梯度方向向量。负 值可指示可见光图像和NIR图像两者中存在边缘或结构，但NIR图像中的局部梯度向量的 方向相对于可见光图像中的局部梯度向量反转。值〇可指示例如归因于源自NIR闪光灯的 高光和阴影因此NIR图像中存在可见光图像中不存在的边缘或结构，或例如归因于场景中 的对象对红和红外光的不同反射特性因此可见光图像中存在NIR图像中不存在的边缘或 结构。基于梯度比例图中的这些值的分析，可考虑自适应平滑、边缘保留和引导强度操纵而 产生用于通过梯度传递进行去噪的最佳比率图。所述最佳比率图可表示将在每一像素处应 用于可见光图像的来自NIR图像的引导量。通过利用梯度比例图和梯度传递方案，本文中 所描述的去噪方法较好地能够利用NIR图像作为引导图像来实现高质量图像去噪，且可在 不从引导图像向经去噪可见光图像导入额外假影的情况下实现此目的。
[0022] 在一实施例中，成像设备可使用例如NIR传感器和可见光传感器等两个不同类型 的成像传感器俘获图像。此类型的多光谱成像可对于对由可见光传感器俘获的图像去噪有 用。在一个实施例中，可见光传感器处接收的光可携载场景的颜色信息，而NIR传感器俘获 的光可用于通过执行图像去噪而增强可见光图像的质量。举例来说，NIR图像和可见光图像 可分解为梯度向量且用于产生梯度比例图。如上文所描述，梯度比例图可用于引导NIR图 像对可见光图像的去噪来改进所俘获可见光图像的质量。
[0023] 在一个实施例中，NIR传感器俘获的图像用于增强低光条件中俘获的可见光图像 的质量。举例来说，在常规低光系统中，可见闪光灯系统常常用于照明待成像的对象。然 而，此人造光可毁坏图像的周围环境且可引入比如红眼、不当的反射和阴影等不想要的假 影。在本文所描述的方法中，可使用NIR闪光灯代替可见闪光灯来俘获NIR图像，且常规可 见成像传感器（例如RGB彩色CCD)俘获对应可见光图像。NIR图像不可如可见光图像中那 样混杂噪声，且NIR图像可结合去噪技术例如，加权最小平方平滑技术）使用以从可见（例 如，RGB)图像移除由低照明条件造成的噪声。尽管主要在使用NIR闪光灯俘获的NIR引导 图像的上下文内论述，但在一些实施例中也可在无闪光灯的情况下使用经配置以检测自然 地存在于图像场景中的红外或近红外光的图像传感器来俘获NIR引导图像。
[0024] NIR(近红外）光对于人眼不可见，但可由图像传感器俘获。利用非侵入性NIR闪 光灯，俘获高质量无噪声NIR照片以引导对应RGB图像中的去噪和细节恢复。一些实施例 可同时俘获一对RGB和NIR图像，且随后逐像素对准所述RGB和NIR图像。此图像对可使 用双相机系统、俘获静态场景中的循序R