本发明涉及用于采集可见和近红外图像的系统、包括这种系统的可见-近红外双光谱相机、以及用于通过使用这种相机同时采集彩色和近红外图像的方法。
背景技术：
“近红外”(或“NIR”，“近红外”的缩写)对应于700-1100nm谱带，而可见光在350nm和700nm之间延伸。有时认为，近红外开始于800nm，使用光学滤波器消除了中间的700nm-800nm波段。
本发明可以等同地应用于国防和安全部门(例如，夜视)以及消费电子产品中。
常规上，可见光中的图像(以下为了简洁称为“可见图像”)和近红外中的图像是利用两种不同的矩阵传感器独立采集的，可见光中的图像通常是彩色的。为了减小体积，这两种传感器可以经由二向色分束器与单个成像光学系统相关联，以便形成双光谱相机。
这样的配置带来了一定数量的缺点。首先，使用两个独立传感器和分数器增大了双光谱相机的成本、体积、耗电和重量，这在例如空运的嵌入式应用中尤其成问题。此外，光学系统必须要针对该应用进行特殊调整，这限制了使用商用现成光学系统的可能性，进一步提高了成本。
它还提出，主要在学术型工作中使用单个矩阵传感器采集可见和近红外图像。事实上，数字相机中常用的硅传感器表现出从可见光延伸到近红外的灵敏度；这意味着旨在仅工作于可见光的相机被装备有旨在避免红外成分图像污染的光学滤波器。
文献：
-D.Kiku等人的"Simultaneously Capturing of RGB and Additional Band Images using Hybrid Color Filter Array",Proc.of SPIE-IS&T Electronic Imaging,SPIE Vol.9023(2014)；以及
-US 8,619,143
描述了包括四种不同类型的像素的矩阵传感器：如常规“RVB”传感器中那样对蓝光、绿光和红光灵敏的像素，但还有仅对NIR辐射灵敏的“灰色”像素。常规上，这些不同类型的像素是通过在元素硅传感器上沉积吸收滤波器、形成彩色滤波器矩阵而获得的，元素硅传感器自身是“全色的”，亦即对所有可见和近红外波段都灵敏。通常，用于产生这些滤波器的颜料在近红外是透明的；因此由“红色”、“绿色”和“蓝色”像素采集的图像受到入射光的红外分量的影响(因为显然没有在常规相机中使用的光学滤波器)，并且必须要进行数字处理以使色彩恢复到接近现实。
文献：
-Z.Sadeghipoor等人的"Designing Color Filter Arrays for the Joint Capture of Visible and Near-Infrared images",16th IEEE Conference on Image Processing(2009)；
-Z.Sadeghipoor等人的"Correlation-Based Joint Acquisition and Demosaicing of Visible and Near-Infrared Images",18th IEEE Conference on Image Processing(2011)
描述了具有更复杂的彩色滤波器矩阵的传感器，其旨在优化可见和红外图像的重建。
相比之下，文献
-Z.Sadeghipoor等人的"A Novel Compressive Sensing Approach to Simultaneously Acquire Color and Near Infrared Images on a Single Sensor"Proc.IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP),Vancouver,Canada(2013)
描述了一种传感器，其彩色滤波器矩阵接近彩色相机中最常用的所谓“Bayer”矩阵，但稍有不同。常规Bayer矩阵不会使得能够分开可见和红外分量。
这些方法使用所有像素都装备有特殊滤波器的传感器。现在，为了产生具有高灵敏度的相机，有利的是使用还包括全色像素而没有滤波器的传感器。在一些情况下，甚至使用了所谓的“稀疏”传感器，其包括高百分比的全色像素，以便拾取入射辐射的大部分。这些传感器利用了如下事实：可以相对于图像的照度对的色度进行欠采样，而观察者不会察觉到其质量的显著下降。
文献
-D.Hertel等人"A low-cost VIS-NIR true color night vision video system based on a wide dynamic range CMOS imager",IEEE Intelligent Vehicles Symposium,2009,pages 273–278；
描述了使用包括彩色像素和全色像素的传感器来同时采集可见和近红外图像。用于构建PIR图像的方法未被解释，并且未示出这种图像的示例；仅示出了可以在低照明条件下利用的“全带”单色图像。此外，该文章仅涉及“RGBM”传感器的情况，其仅包含25％的全色像素，这大大限制了能够实现的灵敏度增益。
技术实现要素：
本发明旨在克服现有技术的上述缺点。更具体而言，本发明旨在获得用于同时采集可见和NIR图像的系统，其呈现出很大灵敏度并能够获得高质量的图像。优选地，本发明允许使用“商用现成”(COTS)矩阵传感器和光学系统。
根据本发明，通过使用既包括彩色像素(包括或不包括对NIR灵敏的“灰色”像素)又包括相当高数量的全色像素(优选超过像素的四分之一)的传感器，并且优选使用稀疏传感器，来获得高灵敏度；通过实施创造性的数字处理来获得高图像质量。更具体而言，该处理包括重建全色图像和两个彩色“中间”可见图像。这两个中间可见图像是利用两个不同处理操作获得的：一个可以被形容为“通道内”，其仅使用来自彩色像素的信号，而另一个可以被形容为“通道间”，其还使用全色图像。NIR图像是从“通道间”彩色图像并从全色图像获得的，而彩色图像是通过组合“通道内”中间图像与全色图像而获得的。
因此，本发明的目标是一种图像采集系统，包括：包括像素的二维布置的矩阵传感器，每个像素适于产生电信号，所述电信号代表场景的光学图像的一点处的光强；以及信号处理电路，所述信号处理电路被配置成处理由所述像素产生的电信号，以便产生所述场景的数字图像；其中所述矩阵传感器包括如下像素的二维布置：所谓的彩色像素，即对第一谱带中的可见光灵敏的至少一个第一类型；对与第一谱带不同的第二谱带中的可见光灵敏的第二类型；以及对与第一和第二谱带不同的第三谱带中的可见光灵敏的第三类型，不同类型的彩色像素的谱带的组合重新组成了可见光谱的全部；以及对全部可见光谱灵敏的所谓的全色像素，所述全色像素至少还对近红外灵敏；其特征在于，所述信号处理电路被配置成：从由彩色像素产生的电信号重建第一组单色图像；从由全色像素产生的电信号重建全色图像；从由彩色像素产生的电信号并从所述全色图像重建第二组单色图像；通过向第一组的单色图像并向所述全色图像应用第一比色法矩阵来重建彩色图像；通过至少向第二组的单色图像并向所述全色图像应用第二比色法矩阵来重建至少一个近红外图像；以及输出所述彩色图像和所述或至少一个所述近红外图像。
优选地，第一组的图像仅从由彩色像素产生的电信号获得，没有由全色像素产生的电信号的贡献。此外，第一比色法矩阵将优选使得输出彩色图像基本没有源自光学图像的红外分量的贡献，而第二组的图像一般将包括这样的贡献。
根据本发明的特定实施例：
-所述彩色像素可以仅包括所述第一、第二和第三类型的像素，它们也对近红外灵敏。更具体而言，第一、第二和第三类型中的一种的像素可以对绿光灵敏，第一、第二和第三类型中的另一种的像素可以对蓝光灵敏，并且第一、第二和第三类型中的其余类型的像素可以对红光灵敏。
-所述矩阵传感器可以是稀疏型，其像素的超过四分之一、并且优选地至少一半为全色的。
-所述信号处理电路可以被配置成通过应用包括以下步骤的方法来重建所述第一组的单色图像：确定与所述第一类型的每个像素相关联的光强，以及通过对所述光强进行内插来重建所述第一组的第一单色图像；确定与其它类型的每个彩色像素相关联的强度，并从其减去代表与所述第一单色图像的对应像素相关联的光强的值；通过对所述其它类型的相应彩色像素的光强值进行内插来重建新单色图像，从所述相应彩色像素的光强值已减去代表与所述第一单色图像的对应像素相关联的强度的所述值，然后组合这些新重建的图像与所述第一单色图像以获得所述第一组的相应最终单色图像。
-所述信号处理电路可以被配置成通过对由全色像素产生的电信号进行内插来重建所述全色图像。
-所述信号处理电路可以被配置成通过向全色图像中的对应像素的照度应用局部定义的线性函数来计算每个所述图像的每个像素的照度水平，从而重建所述第二组的单色图像。
-作为变体，所述信号处理电路可以被配置成通过利用全色图像的多个像素的照度水平和/或多个彩色像素的光强的非线性函数计算每个所述图像的每个像素的照度水平，来重建所述第二组的单色图像，所述全色图像的多个像素在所述全色图像的与所述第二组的所述图像的所述像素对应的像素的邻域。
-所述矩阵传感器可以由包含不同类型的像素的伪随机分布的块的周期性重复构成，并且其中所述信号处理电路被配置成：从所述矩阵传感器提取相同类型的像素的规则图案；以及通过并行处理相同类型的像素的所述规则图案来重建所述第一组和第二组单色图像。
-所述信号处理电路还可以被配置成通过至少向第二组的单色图像并向所述全色图像应用第三比色法矩阵来重建具有低亮度水平的单色图像。
-所述矩阵传感器还可以包括仅对近红外灵敏的像素的二维布置，并且其中所述信号处理电路被配置成还从由这些像素产生的电信号重建所述近红外图像。
-系统还可以包括用于在矩阵传感器和光学图像之间产生相对周期性位移的致动器，矩阵传感器适于从由矩阵传感器中对应于矩阵传感器和光学图像的多个不同相对位置的像素所产生的电信号，来重建所述第一组和第二组单色图像以及所述全色图像。
-所述信号处理电路可以从可编程逻辑电路产生。
本发明的另一个目标是包括这样的图像采集系统的可见-近红外双光谱相机，以及适于在不过滤近红外的情况下在图像采集系统的矩阵传感器上形成场景的光学图像的光学系统。
本发明的又一个目标是用于使用这样的双光谱相机同时采集彩色和近红外图像的方法。
附图说明
在阅读参考附图给出的说明书时，本发明的其它特征、细节和优点将显现出来，附图是通过示例的方式给出的并且分别代表：
-图1A，根据本发明的实施例的相机的功能图；
-图1B，示出了图1A的相机的矩阵传感器的像素的光谱响应的曲线图；
-图2，由根据本发明的实施例的图1A的相机的处理器实施的处理的功能图；
-图3A到图6C，示出了图2的处理的不同步骤的示图；
-图7A和图7B，示出了在本发明的特定实施例中实施的处理的两种变体的两个示图；
-图8，根据本发明的另一变体的图像采集系统的矩阵传感器；
-图9A和图9B，示出了本发明的技术结果的图像。
具体实施方式
图1A示出了根据本发明的实施例的可见、近红外双光谱相机CBS的高度简化功能图。相机CBS包括一般基于透镜的光学系统SO，其形成所观察场景SO的光学图像IO。图像IO形成于矩阵传感器CM的表面上，矩阵传感器CM包括像素的二维布置；每个像素产生表示光学图像的对应点(实际上，是小的区域)的光强的电信号，由其光谱灵敏度曲线加权。这些电信号，通常在被转换成数字格式之后，由处理电路CTS处理，处理电路CTS在其输出处供应数字图像：彩色的第一图像(由不同色彩的三个单色图像构成)IVIS，以及近红外的单色第二图像。任选地，处理电路CTS还能够供应可见单色图像IBNL作为输出，在所观察场景呈现出低亮度水平时尤其有用。矩阵传感器CM和处理电路CTS构成了下文将称为图像采集系统的系统。电路CTS可以是微处理器，优选地以适当方式编程的专用于数字信号处理(DSP，“数字信号处理器”)，或其它专用数字电路，例如由诸如FPGA的可编程逻辑电路产生；然而，也可以是专用集成电路(ASIC)。
矩阵传感器可以是CCD或CMOS类型；在后一种情况下，它可以结合模数转换器，以便直接在其输出处供应数字信号。在任何情况下，它包括至少四种不同类型的像素：前三种类型对对应于彩色的谱带灵敏，其混合再现了可见光谱带(通常为红色、绿色和蓝色)的白色；以及“全色”第四类型。在优选实施例中，所有这些类型的像素还在近红外中呈现出非零的灵敏度——这是硅传感器的情况。近红外中的这种灵敏度通常被视为困扰，并且消除了光学滤波器的使用，但被本发明所采用。有利地，所有像素都具有相同的结构，并且仅在其表面的滤波涂层方面不同(在全色像素的情况下没有)，滤波涂层通常是基于聚合物的。图1B示出了红色(RPB)、绿色(VPB)、蓝色(BPB)和全色(MPB)像素的灵敏度曲线。要指出，近红外中的灵敏度对于所有四种类型的像素基本相同。下标“PB”表示“全带”，以指示入射辐射的红外分量未被过滤。
如稍后参考图8将更详细解释的，传感器还可以包括第五类型的像素，仅对近红外灵敏。
该图标识了可见(350–700nm)VIS和近红外(800–1100)PIR谱带。中间带(700–800nm)可以被过滤，但对于本发明的情况而言不是有利的；更有用地，可以将其视为近红外。
有利地，矩阵传感器CM也可以是“稀疏”的，这表示全色像素至少与三种色彩中的每种色彩的像素一样多，并且优选更多。有利地，至少一半像素是全色的。这使得可以增强传感器的灵敏度，因为不包括任何滤波器的全色像素比彩色像素接收更多光。
像素的布置可以是伪随机的，但优选是规则的(亦即，根据两个空间尺寸是周期性的)，以方便图像处理操作。它尤其可以是随机图案的周期性，即其中像素伪随机分布的块的周期性重复。
作为示例，图3A的左手部分示出了矩阵传感器的图案，其中两个像素中的一个是全色类型(PM)，四个中的一个是绿色(PV)，八个中的一个是红色(PR)，并且八个中的一个是蓝色(PB)。在该示例中，绿色像素比红色或蓝色的数量多的事实反映了人眼针对该色彩展现出灵敏度峰值的事实，但在本发明中绿色、蓝色和红色像素之间的该比例不是强制的(它管理这些不同类型的像素之间存在的任何其它比例)。
还可以使用通过M×N尺寸块的规则重复所获得的传感器，该块包含彩色和全色像素的伪随机分布(但在这些不同类型像素之间具有受控分布)。
例如，图3B示出了称为“1/16”的传感器图案(“1/N”表示N个中的一个像素为蓝色或红色)，对此，可以区分4×4像素的重复图案，其中随机分布了12个全色类型的像素、1个红色类型像素、1个蓝色类型的像素和2个绿色类型的像素。还将很好理解，无论在图3A(“1/8”类型的稀疏)或图3B(“1/16”类型的稀疏)中，随机分布图案的几种配置都是可能的。可以优选针对利用稍晚描述的处理操作在输出图像上获得的其性能水平选择一些图案。
还可以使用展现出不同灵敏带的超过三种类型的彩色像素，以便获得对应于这些带的多个单色可见(如果适当，近红外)图像。于是可以获得超光谱图像。
此外，彩色像素(或它们全部)不必都对近红外灵敏，全色像素对近红外灵敏就足够了。
图2示意性示出了由处理电路CTS实施的处理。稍后将参考图3A到图6C详细描述该处理的各个步骤。
电路CTS接收一组数字信号作为输入，数字信号代表由矩阵传感器CM的不同像素检测到的光强值。在图中，该组信号由“全带稀疏图像”的表示指定。第一处理操作包括从该组提取对应于不同类型像素的信号。考虑像素块M×N(M＞1和/或N＞1)的规则布置的情况，这可以被称为RPB(全带红色)、VPB(全带绿色)、BPB(全带蓝色)和MPB(全带全色)“图案”的提取。这些图案对应于降低采样的图像，或“孔”；因此必须要进行在矩阵传感器的间距处采样的完整图像的重建。
全带全色图像IMPB的重建是最简单的操作，尤其是在全色像素是大多数的时候。在图3中是这样的情况，其中两个像素中的一个是全色。例如，通过简单的双线性内插，可以计算对应于“缺失”像素(亦即蓝色、绿色或红色，因此不可以直接用于重建全色图像)的光强。被证明最有效的方法是所谓的“中值”方法：每个“缺失的”像素都被分配光强值，其是由构成其最近邻域的全色像素所测量的光强值的中值。
利用两种不同方法将全带彩色图像(红色、绿色、蓝色)的重建执行两次。第一种方法被称为“通道内”，因为它仅使用彩色像素来重建彩色图像；第二种方法被称为“通道间”，因为它还使用来自全色像素的信息。稍后将参考图4A-图4D(通道内)和图5(通道间)描述这样的方法的示例。常规上，仅使用通道内方法。
全带图像，无论是通过通道内还是通道间方法获得，都不可以直接使用，因为它们受到未被光学系统过滤的NIR(近红外)分量的“污染”。可以通过组合由通道内方法获得的全带图像IRPB、IVPB、IBPB与利用第一比色法矩阵(参考图6A中的MCol1)的全带全色图像来消除该NIR分量。因而获得了彩色可见图像IVIS，该图像分别由三种红色、绿色和蓝色单色子图像IR、IV、IB形成。
还将由通道内方法获得的全带图像IR*PB、IV*PB、IB*PB与利用第二比色法矩阵(参考图6B中的MCol2)的全带全色图像组合。选择该矩阵中的充当组合的系数的元素以使得能够获得近红外中的图像IPIR(或者，更具体而言，单色图像，通常为黑色和白色，代表近红外谱带中的图像IO的照度)。
任选地，将由通道内方法获得的全带图像IR*PB、IV*PB、IB*PB与利用第三比色法矩阵(参考图6C中的MCol3)的全带全色图像组合使得能够获得代表所有可见谱带中的图像IO的照度，但没有被红外分量污染的单色图像IBNL。由于它采用了来自全色传感器的信号，数量更多且没有滤波器，所以该图像可以比彩色图像IVIS更亮，并且因此尤其适合低照明状况。重要的是要指出，图像IBNL不包含近红外中的任何贡献，其因此被数字过滤。相比之下，上述D.Hertel等人的文章描述了获得“具有低照明水平”的图像，其组合了可见和近红外中的图像。这样的图像在视觉上与纯粹可见光图像(例如IBNL)不同。
在一些情况下，兴趣可以仅仅聚焦于近红外中的图像IPIR，并且可能聚焦于具有低亮度的单色可见图像IBNL。在这些情况下，不必实施通道内重建方法。
现在将参考图4A-图4D描述“通道内”型的有利图像重建方法。该说明仅仅作为示例给出，因为文献中已知的很多其它方法(漫射、小波、色调常性和其它这样的方法)可以适于实施本发明。
在图3A的矩阵传感器中，在规则子图案中将蓝色像素分组到一起。由这些像素形成的图案MPB可以被分解成两个子图案SMPB1、SMPB2，它们彼此相同但在空间上偏移开；这些子图案中的每个都在5×5像素的正方形的角部具有四个蓝色像素；这在图4A中示出。分解成规则子图案的这种方法适用于不同类型的像素，而不管在M×N像素的块中定义的其随机布置。具体而言，在处理电路CTS由专用数字电路产生时，有利的是将图案MPV分解成能够并行处理的子图案。
图4B示出了绿色像素的图案被分解成四个子图案SMPV1、SMPV2、SMPV3和SMPV4的情况。通过这些子图案的双线性内插获得完整的绿色单色图像IVPB1、IVPB2、IVPB3、IVPB4。然后，通过对它们求平均而获得“全带”绿色单色图像IVPB。
全带红色和蓝色图像的重建稍微复杂。它基于与在US 4,642,678中描述的“色调常性”类似的方法。
首先，从红色和蓝色像素的图案减去全带绿色图像IVPB。更具体而言，那意味着从来源于每个红色或蓝色像素的信号减去代表全带绿色图像IVPB的对应像素的强度的值。红色像素的图案被分解成两个子图案SMPR1、SMPR2；在减法之后，获得修改的子图案SMPR1’、SMPR2’；类似地，蓝色像素的图案被分解成两个子图案SMPB1、SMPB2；在减法之后，获得修改的子图案SMPB1’、SMPB2’。图4C中示出了那种情况。
接下来，如图4D所示，通过红色子图案的双线性内插获得图像IR1’PB、IR2’PB，并对其求平均以供应修改的红色图像IRPB’。类似地，通过红色子图案的双线性内插获得图像IB1’PB、IB2’PB，并对其求平均以供应修改的蓝色图像IBPB’。
通过将全带绿色图像IVPB添加到修改的红色和蓝色图像IRPB’、IBPB’而获得全带红色图像IRPB和全带蓝色图像IBPB。
通过减去从红色和蓝色像素的图案所重建的绿色图像以将其添加到处理的结尾而以此方式进行的优点在于，修改的图案展现出低强度动态范围，这使得能够减少内插错误。该问题对于被更精细采样的绿色较不严重。
以不同方式执行通道间重建。它明确地采用了全色像素，与仅采用红色、绿色、蓝色像素的通道内重建形成对比。作为示例，其可以利用能够被形容为“单色定律”的算法来执行，这是使用图5A和图5B例示的。该算法所依据的该想法在于，彩色分量——绿色、红色和蓝色——一般展现出近似“遵循”全色分量中的那些分量的空间变化。因此能够使用通过受益于其较密集的空间采样的双线性内插所重新组成的全色分量，以计算彩色分量的缺失像素的照度水平。更具体而言，可以通过向全色图像的对应像素的照度应用线性或仿射函数来确定每个彩色像素的照度水平。所关注的线性或仿射函数是局部确定的，并且取决于已经知道的紧密彩色像素的照度水平(因为是直接测量或已经计算的)。
图5A涉及稀疏传感器的情况，其中四行中的仅一行包含蓝色像素；在这些行内，四个像素中的一个是蓝色。还有一种“全”全色图像，针对传感器的所有像素定义的，如上文参考图3所述获得的。图5B示出了包括由未定义蓝色分量的三个像素分开的两个蓝色像素的矩阵传感器的一段；叠加在行的该部分上的是在所有像素上定义的全色图像的一部分。C1和C5用于指定行段的结尾处的两个蓝色像素(更一般地，彩色)的已知照度，C2、C3和C4指定对应于三个中间像素的蓝色分量的(要计算的)照度，并且M1–M5指定对应于这些相同像素的全色图像的已知照度。
该方法的第一步包括使用全色图像重建图像的蓝色分量的行；通过这种方式仅重建包含蓝色像素的行，即，四行中的一行。在该步骤的结尾，是完整的蓝色行，由未定义蓝色分量的行分开。看这些列，将要指出的是，在每个列中，四个像素中的一个是蓝色。因此可以通过由全色图像的知识辅助的内插来重新组成蓝色列，如针对行所进行的那样。针对绿色和红色分量应用相同的过程。
应用单色定律重建图像的彩色分量按照以下方式进行。
兴趣聚焦于重新组成的全色图像的像素M1到M5，它们位于所关注的色彩的图案的两个像素C1和C5之间，包括与这两个彩色像素共同定位的端部像素M1、M5。然后，判断是否可以认为全色图像的对应部分是均匀的。为了这样做，将M1和M5之间的全色照度的总变化与阈值Th进行比较。如果|M5–M1|<Th，那么认为该区域是均匀的，否则认为是不均匀的。
如果全色图像的区域被认为是均匀的，则执行检查来看总全色照度M1+M2+M3+M4+M5是否低于阈值，通过C1和C5之间的线性内插，实现尤其是热噪声的函数，在该情况下，全色图像不包含可用信息和彩色分量的重建(更具体而言：彩色像素C2、C3和C4的照度的计算)。换言之，执行逐步重建。
换言之，从紧接前面的彩色像素的照度，按照重建次序，通过向其应用在全色图像上测量的局部变化率，来确定要重建的每个彩色像素的照度。
如果照度必须要是整数值，则对计算结果四舍五入。
如果全色图像的区域不被认为是均匀的(|M5–M1|≥Th)，那么可以通过应用“单色定律”直接重建彩色像素C2–C4，亦即，表达Ci的仿射函数作为Mi(i＝1–5)的函数，并且从而C1和C5的计算值与测量值相符：
Ci＝m·Mi+p
其中
并且
p＝C1-m·M1
同样，如果照度必须要是整数值，则对计算结果四舍五入。
直接应用单色定律进行重建可能导致重建的彩色分量的动态范围过大或导致其饱和。在该情况下，可能值得返回到逐步重建。例如，在如下的情况时可能观察到动态范围过大的状况：
其中Th1为阈值，一般与Th不同。
如果min(Ci)<0或如果Max(Ci)大于最大可允许值(考虑由16位编码的整数表示的照度的情况，为65535)，可能观察到饱和。
显然，仅通过举例的方式给出了图5A和图5B的配置——其涉及由5个像素的段重建彩色分量，并且将该方法推广到其它配置不会带来任何显著困难。
该方法的变体是可能的。例如，通过使用邻近的彩色像素(根据所关注彩色像素的图案位于特定距离处)和重新组成的相邻全色像素两者确定彩色像素的照度的另一方法包括使用非线性函数，该函数例如通过使用相邻全色像素的多项式近似(以及更一般地，非线性空间表面函数的近似)来对彩色像素的分布进行近似。这些单轴非线性函数，或相反，表面双轴非线性函数的优点在于，它们考虑了在比最接近要重建的像素的彩色像素更大的尺度上的彩色像素分布。在该理念的框架内，还可以使用更一般的值扩散函数，其采用在全色像素的照度值中出现的局部梯度和突然跳跃。无论使用什么方法，原理保持相同：采用比彩色像素的数量更多的全色像素，以及其变化的定律来重建彩色像素。
尽管单色定律方法涉及具有两个相继单轴轮次的方法，但使用表面函数或扩散方程使得能够通过单质量方法进行，以重建彩色像素。
在处理的该阶段，存在全带全色图像IMPB和两组三个全带单色图像(IRPB,IVPB,IBPB)和(IR*PB,IV*PB,IB*PB)。如上所述，这些图像的任一个都不能直接使用。然而，可以通过经由3×4比色法矩阵MCol1组合第一组的全带图像(IRPB,IVPB,IBPB)和全带全色图像IMPB来获得可见光中的彩色图像IVIS。更具体而言，可见图像IVIS的红色分量IR由具有系数a11、a12、a13和a14的IRPB、IVPB、IBPB和IMPB的线性组合给出。类似地，绿色分量IV由具有系数a21、a22、a23和a24的IRPB、IVPB、IBPB和IMPB的线性组合给出，并且蓝色分量IB由具有系数a31、a32、a33和a34的IMPB、IVPB、IBPB和IRPB的线性组合给出。图6A中示出了那种情况。
接下来，可以通过常规白平衡操作增强可见图像IVIS，以考虑场景的照明相对于用于建立比色法矩阵的系数的照明的不同。
同样，可以通过经由第二1×4比色法矩阵MCol2组合第二组的全带图像(IRPB*,IVPB*,IBPB*)和全带全色图像IMPB来获得近红外的图像IPIR。换言之，近红外图像IPIR由具有系数a41、a42、a43和a44的IVPB*、IBPB*、IRPB*和IRPB的线性组合给出。图6B中示出了那种情况。
如果几种类型的像素在近红外区展现不同的光谱灵敏度，可以获得近红外中的多个不同图像，其对应于NPIR个不同的光谱子带(其中NPIR>1)。在该情况下，第二比色法矩阵MCol2变为NPIR×(NPIR+3)矩阵，NPIR为要获得的近红外图像的数量。先前处理的情况是NPIR＝1的特定情况。
接下来，可以通过常规空间滤波操作增强近红外图像IPIR。该操作例如可以是与噪声的自适应滤波相关联或不相关联的轮廓增强操作(能够援引的可能轮廓增强技术包括使高通卷积滤波器通过图像上的操作)。
矩阵MCol1和MCol2实际是在特定情况下的4×4尺寸的同一比色法矩阵“A”的子矩阵，在该特定情况下NPIR＝1并且有三种类型的未这样使用的彩色像素。
如果矩阵传感器具有超过三种不同类型的彩色像素，比色法矩阵的大小必须被修改。例如，对于在红外中具有不同光谱灵敏度的NPIR个像素，除了未滤波的全色像素之外，可能有NVIS(其中NVIS≥3)种类型的对可见光中的不同子带灵敏的像素。此外，这些NVIS种类型的像素能够在近红外中展现不同的光谱灵敏度，以允许采集NPIR个PIR图像。假设没有仅在红外中灵敏的像素，那么比色法矩阵Mcol1具有3×(NVIS+1)尺寸。
此外，可以通过经由第二1×4比色法矩阵MCol3组合第二组的全带图像(IVPB*,IBPB*,IRPB*)和全带全色图像IMPB来获得单色可见图像IBNL。换言之，通过具有系数的IRPB*、IVPB*、IBPB*和IMPB的线性组合给出图像IBNL，系数形成另一个4×4比色法矩阵的最后一行，其也不是这样使用的。图6C中示出了那种情况。
图像IBNL按照其次序能够通过常规空间滤波操作被增强。
可以通过校准方法获得比色法矩阵A和后者例如包括：使用其上沉积了在可见和NIR中反射的不同涂层的图案，通过受控照明照射该装置，以及通过使用4×4比色法矩阵将这些涂层在可见和NIR中应当具有的理论照度值与测量的值比较，在该矩阵中，通过最小平方最佳地调整系数。还可以通过对要优先显露的色彩加权或通过增加在场景中存在的自然对象做出的测量，来增强比色法矩阵。所提出的方法(除色彩之外使用NIR，使用4×4矩阵，使用在可见和NIR中都发光的不同涂层)与被约束到色彩的常规方法不同，常规方法采用3×3矩阵和常规测试图案，例如“X惯例棋盘”或Macbeth矩阵。
图7A和图7B示出了本发明的可能增强，其实施对传感器的微扫描。微扫描包括矩阵传感器在图像平面中或图像相对于传感器的周期性位移(振荡)。可以使用压电致动器或直流电动机类型的致动器作用于矩阵传感器或至少一个成像光学元件来获得该位移。在该位移期间执行几次(通常两次)图像采集，这使得能够增强空间采样并因此便于重建图像。显然，这要求比没有微扫描的情况中更高的采集速率。
在图7A的示例中，矩阵传感器CM具有特定结构；两列之一由全色像素PM构成，四个之一是绿色PV和蓝色PB像素的交替，以及四个之一是红色PR和绿色PV像素的交替。利用在与列方向成直角的方向上的幅度等于像素宽度的振荡执行微扫描。可以看出，在传感器位于其位移的端部时的“全色”行所占据的空间被在其位于相对端时的“彩色”行占据，反之亦然。图像采集速率高于在没有微扫描的情况下执行的速率(例如，是在没有微扫描的情况下所获得的频率的两倍)，以便能够向在没有微扫描的情况下采集的图像增加信息。
通过采用双倍采集频率的示例，从对应于传感器的两个相对极端位置的两个所采集图像(图7A的左手部分)，可以重建(图的右手部分)：
-通过重复四种像素的图案形成的彩色图像——沿对角线布置的两个绿色，一个蓝色和一个红色(所谓的“Bayer”矩阵)，通过在位移方向上具有细长形式的重建像素形成，形式比为2；以及
-“全”全色图像，可以直接使用而无需内插；
这两个重建图像是以比采集频率低两倍的速率采集的。
实际上，微扫描完成了全色和彩色像素信息，并且在本发明的语境中给出的处理操作可以直接应用于在微扫描之前从探测器产生的图案和从在微扫描之后获得的额外图案产生的图案，因此，不必使用如图7A中给出的特定图案，然而后者能够应用于简化的算法。此外，微扫描可以在两个轴上执行和/或具有比像素宽度更大的幅度。
作为示例，图7B示出了将微扫描应用于图3A的传感器CM。在1/8类型的稀疏配置的该示例中，微扫描涉及覆盖所有全色像素，添加两个蓝色子图案、两个红色子图案和四个绿色子图案，它们叠加于先前为全色的点处并且使得总体上能够向比初始多两倍的子图案应用处理操作。在更复杂的稀疏配置(1/N，其中N>＝16)中，可以将微扫描同时推广到矩阵的二维中的M个位置，并在多个子图案上保存因子M。
到此为止，仅考虑了包括恰好四种类型的像素——红色、绿色、蓝色和全色——的矩阵传感器的情况，但这并非必要的限制。可以使用展现出与图1B所示的那些不同的灵敏度曲线的三种类型的彩色像素，甚至更多。此外，可以使用仅对近红外中的辐射灵敏的第五种类型的像素。例如，图8代表矩阵传感器，其中四个像素中的一个是全色(参考PM)，四个像素中的一个仅对近红外灵敏(PI)，四个像素中的一个是绿色(PV)，八个像素中的一个为红色(PR)并且八个像素中的一个为蓝色(PB)。
可以通过不同方式使用来自第五种像素的信号。例如，可以通过图4A-图4D的“通道内”方法重建近红外中的图像，例如由IPIRD指定(指数“D”表示它是“直接”采集的图像)，可以将其与通过向图像IRPB*、IVPB*、IBPB*和IMPB应用比色法矩阵MCol2获得的图像IPIR一起求平均。还可以使用1×5尺寸的比色法矩阵MCol2并通过具有矩阵系数a41、a42、a43、a44和a45的IRPB*、IVPB*、IMPB和IPIRD的线性组合来获得近红外图像IPIR。也可以使用图像IPIRD校准比色法矩阵MCol1，该矩阵然后包含额外的列，并变成3×(NVIS+2)大小：然后将再现的每种红色、绿色、蓝色分量表达为全带中再现的NVIS个平面、重建全色平面和从像素IPIRD重建的PIR平面的函数。
图9A是在可见光中观察到的场景的复合图像。图像IVIS的左手部分是根据本发明的通过使用图3的“稀疏”矩阵传感器获得的。右手部分I’VIS是通过常规方法使用非稀疏传感器获得的。两个图像的质量相当。
图9B是在近红外中观察到的同一场景的复合图像。图像IPIR的左手部分是根据本发明的通过使用图3的“稀疏”矩阵传感器获得的。右手部分I’PIR是通过使用NIR相机利用非稀疏传感器获得的。图像具有相当的质量，但根据本发明获得的图像IPIR比利用稀疏传感器获得的图像更亮。