一种用于彩色图像获取的系统和方法
【技术领域】
[0001] 本发明设及彩色图像获取，并且更具体地说，提供了一种用于光谱过滤用于创建 彩色图像的光的系统和方法。
【背景技术】
[0002] 通过数码相机来生成彩色图像有几种已知技术。常规地讲，彩色图像基于通过分 别居中于红(R)、绿(G)w及蓝(B)色光谱区中的过滤器来检测Ξ个光谱范围。
[0003] 成为工业标准的、一种彩色图像获取方法利用一组固定滤色器（即，滤色器阵列 (CFA))的布置，其被放置在单色传感器前面，W使传感器的每一个像素测量入射光的、来自 为生成彩色图像所需的RGBS个分量的仅一个光谱分量的强度。例如，Bayer阵列是运种类 型的一个具体CFA，其通常用于获取RGB图像(参见图1A)。为了生成彩色图像(其中，每一个 像素都包含有关全部RGB^个分量的信息），通过该像素测量的其余两个颜色分量基于通过 相邻像素所测量的运些分量的值来计算。该处理（已知为"去马赛克(de-mosaicing)"可W 通过各种公知算法来执行。
[0004] 用于获取彩色图像的另选技术利用Ξ个单色传感器和一个光谱分束器组件，该光 谱分束器组件根据其颜色来分裂入射光，并将入射光的RGBS个分量分别引导至Ξ个图像 传感器。根据该技术配置的系统在图1C中按自我解释方式进行了例示(从WWW.zeiss.de取 得的图像）。
[0005] 用于获取彩色图像的又一另外技术利用其中每一个像素都适于同时测量全部Ξ 个RGB颜色的颜色传感器，例如，Fovcon忠 X3传感器。
【发明内容】
[0006] 本发明提供了一种用于获取彩色图像的新颖技术。根据本发明，通过顺序地获取 并且叠加 Ξ个或更多个窄带图像来创建彩色图像。例如，顺序获取并叠加 Ξ个红、绿和蓝图 像，或者顺序获取并叠加四个红、绿、蓝和红外（IR)图像(典型地讲，该IR图像处于范围大约 为700nm-l200nm的近红外(NIR)波长带）。而且，在某些情况下，本发明的技术被用于获得丰 富的彩色图像，包括有关可见光谱(400皿-700皿)中Ξ个W上色泽kolor shade)的颜色信 息，并且可选地包括有关IR光谱中一个或更多个深浅的颜色信息。
[0007] 在运点上，针对用于获得彩色图像的常规技术进行W下解释。最常见的常规技术 (其利用空间滤色器阵列(CFA))过滤到达像素的光的颜色（即，使得该传感器中的一些像素 感测蓝光、一些感测红光，而一些感测绿光）。结果，通过运种技术获取的真实空间分辨率比 所使用的传感器的分辨率低很多（例如，范围在1/^2与1/4之间变动的系数），并且典型地讲， 利用空间插值来完成/估计该图像中的颜色信息。而且，由于CFA的光谱特性通常固定，因 而，运种技术受限于颜色数量和通过像素测量的光的光谱内容。在利用颜色传感器的技术 中（即，其中，每一个像素同时测量Ξ个RGB颜色，如化veon X3 )，颜色的数量和光谱内容也 通常固定。而且，在运种颜色传感器中，与标准基于娃的CMOS和/或CCD传感器相比，像素的 尺寸相当大且噪声更大，因此对于同一传感器尺寸来说，生成差分辨率和SNR的图像。
[000引本发明提供了一种方法和系统，其能够生成具有每一个颜色的空间分辨率匹配所 使用的图像传感器的分辨率的高质量彩色图像。另外，本发明提供了用于获得丰富彩色图 像的方法和系统，其可W具有Ξ个W上的色泽，和/或范围可W在包括可见光谱和至少部分 NIR光谱的宽光谱上变动。而且，本发明提供了一种用于自适应颜色获取的技术，其中，用于 获取每一种颜色的时间可W基于被成像的场景中的颜色内容而现场自适应设置(例如，利 用预备/校准阶段，其中，估计被成像的场景中的颜色强度，并因此设置/选择针对每一种颜 色的积分时间（该阶段例如可W在摄像机自动聚焦期间一起/同时执行））。为此，用于成像 每一种颜色的积分时间，和要成像的颜色的数量和光谱分布图可W基于被成像的场景而自 适应地确定，W在缩减所获得图像中的噪声的同时缩减总曝光时间（通过用指定成像光谱 W及传感器的动态范围和敏感度作出最多），同时还可选地获得具有针对该场景最优化的 具体选择色泽的富色彩图像。
[0009] 运通过如下来实现:利用放置在朝着恰当（例如，单色）图像传感器的光传播的光 学路径中的可控制光谱过滤器，并且控制该光谱过滤器顺序地传递Ξ个或更多个宽光谱带 的光，同时从传感器获取运Ξ个或更多个光谱带的单色图像/帖。为此，提供相对较低空间 颜色分辨率的常规CFA技术被本发明中的时间性颜色采样所替代。一方面，运改进了最终彩 色图像的空间分辨率，而另一方面，允许在选择所获取的颜色和/或每颜色获取/积分时间 方面具有灵活性的自适应颜色成像。
[0010] 例如，在某些情况下，可W获得任意颜色(例如，非标准颜色）的几个帖并且利用颜 色插值来处理，W生成具有标准调色板的彩色图像。在低光情况下，在可见范围下的一组颜 色帖(如RGB)可W加上NIR光谱中的一个或更多个帖来获得。接着，可W处理该可见和NIR中 的帖，W生成低光场景的增强图像。而且，对于可见和/或NIR颜色的一些获得帖呈现太低强 度的情况来说，可W获得相似或相同颜色的附加帖补偿第一帖的低强度）。例如，如果在 红帖和绿帖的处理期间，确定运些帖的强度低于特定域值，则可能W更长的积分时间重新 获得相似颜色的帖。
[0011] 特别地讲，如下更进一步详细描述的，本发明提供了一种新颖的自适应彩色成像 方法，该方法用于选择针对每一种颜色的不同积分时间和/或用于选择要获取的特定颜色， 并且可W用于获得相似颜色的多个(两个或更多个)图像，W获得有关与低强度相关联的颜 色的更多信息。因此，本发明的技术使能获取针对指定传感器的更好质量图像，同时改进该 图像的图像分辨率和信噪比。
[0012] 在运点上，应注意到，在此使用术语单色(monochrome/monoc虹omatic)图像，来指 定灰度级图像/数据(例如，位图），其中，该单色图像的每一个像素都对应于/具有一灰度 值，指定与该单色图像相关联的颜色强度/光谱分布图。术语颜色(彩色)应被理解为有关可 见光内的特定光谱分布图，并且还可能有关NIR光谱带。为此，彩色图像/帖要被理解为其中 每一个像素都表示几种(典型为Ξ个或更多个)颜色的强度的图像。
[0013] 本发明的技术适用于紧凑成像器系统。运通过具有标准具类型的可控制光谱过滤 器的新颖设计来便利化，该标准具类型配置有足够薄的形状因子，并且可W适配在更紧凑 的摄像机模块的光学系统/路径中。为此，应当明白，一方面，本发明的光谱过滤器设计有薄 形状因子(在一些实施方式中，其厚度不超出1mm)，而另一方面，其光学特性(并且具体来 说，其自由光谱范围（FSR)和精细度(Finesse))针对成像应用而最优化。具体来说，该可控 制光谱过滤器被配置成提供足够宽的自由光谱范围（FSR)(例如，至少200nm或更大），W允 许颜色之间的良好光谱分隔（即，使得例如在采样红色时，蓝光谱区段的光分量不穿过该过 滤器，并且不干设红光分量的测量）。
[0014] 具体来说，在一些实施方式中，该可调谐标准具被配置用于在短可见波长(例如， 大约400nm)并且直至NIR的长波长(例如，直至大约llOOnm或1200nm)中，在相对较宽光谱范 围（例如，范围从蓝光变动)上可调谐。然而，即使在将该标准具配置用于选择性过滤在可见 和NIR光谱上延伸的宽频带中的光的情况下，该标准具也配置有至少300nm的足够FSR，W使 在调谐成传递NIR中的光时，绿和蓝光谱区段中的光基本上被阻挡/衰减。
[0015] 而且，为了使能生成准确的彩色图像，该标准具配置有低精细度（即，具有大约 50nm-80nm的全宽度半最大值的足够宽的光谱透射峰值），W使在调谐成特定颜色（波长） 时，不仅该颜色的单色光被传递至该传感器，而是多种色泽的该颜色也被传递至该传感器。 一方面，运为创建具有准确(例如，正确)颜色的图像作准备，而另一方面，允许足够的光传 递至该传感器。
[0016] 在运点上，应注意到，常规标准具(其典型地用于光学传送目的），通常不适于本发 明的目的。运至少是因为它们通常配置用于传递预定波长的大致单色光（即，设置有高精细 度），如果用于成像目的，则其将导致不足的光强度到达传感器和不准确的颜色。
[0017] 由此，根据本发明的一宽泛方面，提供了一种用于获取彩色图像的成像系统。该成 像系统包括：图像传感器(例如，单色图像传感器）；可调谐光谱过滤器，该可调谐光谱过滤 器设置在朝着所述图像传感器的光传播的光学路径中；W及控制器，该控制器连接至所述 图像传感器并连接至所述可调谐光谱过滤器。所述控制器(例如，控制系统)适于通过在Ξ 个或更多个对应积分时间持续期间，顺序地操作所述可调谐光谱过滤器，W利用Ξ个或更 多个不同光谱过滤曲线顺序地过滤朝着所述图像传感器传递的光，来生成彩色图像。根据 本发明的某些实施方式，所述可调谐光谱过滤器被配置为标准具，该标准具包括一对反射 表面，并且其中，所述反射表面中的至少一个反射表面包括下列各项中的至少一个：（i)具 有至少n = 2.3的高折射率的层，或（ii)具有比n=l小的低折射率的层；由此，提供具有处于 大约50nm至80nm的范围中的全宽度半最大值(FWHM)、至少3(K)nm的自由光谱范围的所述光 谱曲线的宽透射峰值，并且所述标准具的厚度不超出1mm。
[0018] 在本发明的一些实施方式中，所述控制器被配置且可操作用于在所述Ξ个或更多 个积分时间持续期间操作所述传感器，W分别获取具有所述Ξ个或更多个光谱过滤曲线的 所述光的Ξ个或更多个图像。而且，所述控制器被配置且可操作用于接收和处理来自所述 传感器的、指示所述Ξ个或更多个图像的读出数据，并且生成指示彩色图像的数据，该数据 包括与所述彩色图像的每一个像素中的至少Ξ个颜色的强度有关的信息。
[0019] 在本发明的一些实施方式中，按照每一个光谱过滤曲线（即，按照每一种颜色）来 限定所述积分时间的持续。另选的是或者另外地，所述控制器可W被配置且可操作用于自 适应地基于要成像的场景来确定下列各项中的至少一个:所述Ξ个或更多个不同光谱过滤 曲线，和所述积分时间的所述持续。为此，在本发明的一些实施方式中，所述控制器可操作 用于在生成所述彩色图像之前执行校准阶段。所述校准阶段包括如下步骤：
[0020] -将所述光谱过滤器调谐成所述Ξ个或更多个不同光谱过滤曲线中的至少一个光 谱过滤曲线；
[0021] -获取并处理来自所述传感器的、与通过所述至少一个光谱过滤曲线过滤的所述 光相对应的读出数据，并且估计所述场景中的、具有所述光谱过滤曲线的光的强度；
[0022] -利用所述强度来确定获得通过所述光谱过滤曲线过滤的光的图像的最佳积分时 间持续。
[0023] 在某些实施方式中，所述控制器被设置且可操作用于估计具有所述Ξ个或更多个 光谱过滤曲线的所述Ξ个或更多个图像中的至少一个图像的亮度，并且在确定所述亮度低 于特定域值时，操作所述可调谐光谱过滤器和所述成像器，W获得具有相似或相同光谱过 滤曲线的另一图像。
[0024] 在本发明的一些实施方式中，对来自所述传感器的、所述Ξ个或更多个图像的所 述读出数据W生成所述彩色图像的所述处理包括W下步骤:将图像融合处理应用至所述Ξ 个或更多个图像。所述图像融合算法包括下列各项中的至少一个：
[0025] -处理所述Ξ个或更多个图像，W确定所述图像之间的空间配准；
[0026] -基于下列各项中的至少一个来标准化所述Ξ个或更多个图像的相应强度:相应 图像的所述积分时间持续，与所述图像相对应的所述光谱过滤曲线，W及所述传感器的针 对与所述光谱过滤曲线相对应的波长的灵敏度；W及
[0027] -合并来自所述Ξ个或更多个图像的所述数据，W生成指示所述彩色图像的数据。
[0028] 在一些实施方式中，所述合并包括颜色插值，该颜色插值用于在和所述Ξ个或更 多个图像相关联的所述光谱过滤曲线与和所述彩色图像相关联的特定调色板之间转换。
[0029] 在本发明的一些示例中，所述Ξ个或更多个不同光谱过滤曲线包括处于可见光谱 区段的Ξ个RGB光谱过滤曲线。
[0030] 另选的是或者另外，在本发明的一些实施方式中，所述Ξ个或更多个光谱过滤曲 线包括:与所述可见光谱区段中的至少Ξ个特定颜色相对应的至少Ξ个光谱过滤曲线；和 至少一个附加光谱过滤曲线，与透射通过在被调谐成所述至少Ξ个光谱过滤曲线时的所述 过滤器的光强度相比，该至少一个附加光谱过滤曲线适于将相对较高的光强度透射通过所 述过滤器。
[0031] 在本发明的某些实施方式/实现中，所述至少一个附加光谱过滤曲线包括