红外与可见光图像信号处理方法及其实现装置制造方法
【专利摘要】本发明公开了一种红外与可见光图像信号处理方法及其实现装置，所述方法包括以下步骤：提供一红外图像以及一红外校正后的可见光图像；计算所述可见光图像中每个像素点对应的颜色特征值；利用所述颜色特征值计算所述可见光图像中每个像素点对应的锐度信息；计算所述红外图像中每个像素点对应的锐度信息；计算所述可见光图像和所述红外图像的锐度校正参数和亮度校正参数；根据计算得到的所述锐度校正参数和亮度校正参数，在某一个色彩空间上进行逐像素点加权合成。通过对红外图像以及经过红外校正后的可见光图像在锐度、色彩和亮度上进行分析，动态地将红外图像和可见光图像融合成一幅图像，且输出图像的亮度、颜色和锐度没有损失。
【专利说明】红外与可见光图像信号处理方法及其实现装置
【技术领域】
[0001]本发明涉及近红外光图像和可见光图像信号处理方法以及实现装置。
【背景技术】
[0002]目前常见图像传感器在感应可见光的同时也能感应到近红外光。如图1所示，是一个典型的图像传感器的量化响应曲线。其中，曲线B是B通道相应曲线，曲线G是G通道相应曲线，曲线R是R通道相应曲线。由于图像传感器每个颜色通道在近红外光部分都存在较高的响应，因此当图像传感器感应到的光线中存在近红外光时就会导致物体偏色。以下为了行文的方便，如无特殊说明，红外光指近红外光。
[0003]目前业内能够较好解决红外偏色的常见方法有两种:一种是业内广泛采用的给摄像机配置双滤光片切换装置(IR-⑶T)，在环境照度充分的情况下开启红外截止滤光片，通过光学滤镜消除红外光对RGB通道的影响；在环境照度低的情况弹开红外截止滤光片，利用RGB通道对红外光的响应提升图像传感器的低光效果。这种方法能够从入射光中滤除红夕卜，消除红外光对RGB通道的影响，但是缺点是需要购置额外的IR-CUT，增加硬件成本。
[0004]另一种是使用改进型图像传感器，配合特定图像处理方法与装置能够计算得到图像中每个像素对应的红外通道值。将受到红外影响的RGB通道值与上述红外通道值输入色彩校正单元得到校正后的RGB通道值。具体参见专利CN103686111A所述。这种方法能够以较低的成本完成红外校正，但是其缺点是校正后的图像亮度有损失。
[0005]当入射光中同时存在可见光和近红外光等波长相差较大成分光线时，常用普通镜头只能够将两种波长之中的某一个波长的入射光线折射到焦平面上，具体描述参见专利CN102768412A所述。即搭配普通镜头时，且被摄物体对红外和可见光的反射率一致，红外图像和可见光图像不能同时聚焦。当成像系统聚焦至红外光时，红外图像的锐度高于可见光图像，此时融合可见光和红外的未校正图像经过现有的红外图像颜色校正方法后相当于减去了图像中锐度较高的部分，此时不仅校正后图像的亮度上有损失，而且锐度也会降低，图像会变得暗而模糊。使用特殊的能够同时聚焦红外光和可见光的光学设备可以一定程度上缓解红外校正后潜在的锐度降低的问题，但是成本较大。
[0006]专利CN100442816C中提到了一种红外光和可见光的图像信号处理方法，将红外光图像经过高通滤波器抽取其高频信号，将可见光图像经过低通滤波器抽取其低频信号，然后将二者融合得到校正后的图像。但是，需要注意的是，可见光图像和红外光图像的锐度信息除了上文所述的和成像系统中的镜头相关之外，还与被摄物体对可见光和红外光的反射率有关。当被摄物体对红外光反射率较低而对可见光反射率较高时，即使镜头此时将波长为红外光部分的入射光聚焦，其所成图像锐度很可能不如可见光图像锐度高。可见，在上述情况下，采用专利CN100442816C中提到的方法处理后的图像锐度和处理前相比不仅不会提升反而会下降。
[0007]综上，红外和可见光图像在经过后续图像校正后亮度和锐度的降低是目前图像信号处理中存在的两个重要问题。
[0008]目前已公布的关于红外光和可见光的图像信号处理的专利中并没有给出在较低成本下能够同时较好的解决上述两个问题的方案。
【发明内容】
[0009]本发明所要解决的技术问题是提供一种红外与可见光图像信号处理方法及其实现装置，在保证经过红外校正后的可见光图像颜色特征值不变的前提下，能够提升校正后可见光图像的亮度和锐度，同时整个技术方案不需要特殊的光学设备，成本较低。
[0010]专利CN10368611IA和专利CN100442816C中提到的红外图像和可见光图像颜色校正以及融合方法可能会导致图像亮度或锐度的损失。
[0011]当图像传感器采集到的RAW图像同时包含红外和可见光信息时，常见的针对红外和可见光的图像处理方法的基本思想是先设法分别计算得到全幅面的红外图像和受到红外影响的RGB图像，然后分别在RGB通道中减去红外图像，得到处理后的可见光图像和红外图像。这种方法处理后的可见光图像颜色得到了恢复，但是亮度和锐度均可能会降低。即使在后续处理中分别利用可见光图像的颜色信息和低频信息、红外光图像的高频信息将二者融合成一幅图像，由于物体材质反射率的影响，其输出图像的锐度相对于原始未校正图像依然可能降低。
[0012]本发明通过对红外图像以及经过红外校正后的可见光图像在锐度、色彩和亮度上进行分析，动态地将红外图像和可见光图像融合成一幅图像，且输出图像的亮度、颜色和锐度没有损失。
[0013]为实现上述技术效果，本发明公开了一种红外与可见光图像信号处理方法，所述方法包括以下步骤:
[0014]提供一红外图像以及一红外校正后的可见光图像；
[0015]计算所述可见光图像中每个像素点对应的颜色特征值；
[0016]利用所述颜色特征值计算所述可见光图像中每个像素点对应的锐度信息；
[0017]计算所述红外图像中每个像素点对应的锐度信息；
[0018]计算所述可见光图像和所述红外图像的锐度校正参数和亮度校正参数；
[0019]根据计算得到的所述锐度校正参数和亮度校正参数，在某一个色彩空间上进行逐像素点加权合成。
[0020]所述红外与可见光图像信号处理方法进一步的改进在于，所述颜色特征值包括像素点的RGB三个色彩通道之间的比例关系、像素点的色度值和饱和度值；或者像素点在其他色彩空间上的色彩信息表示。
[0021]所述红外与可见光图像信号处理方法进一步的改进在于，所述锐度信息的计算是利用当前像素点周围的ηXη个像素，通过索贝尔或拉普拉斯算子得到的。
[0022]所述红外与可见光图像信号处理方法进一步的改进在于，通过以下方法计算所述锐度校正参数:
[0023]比较当前像素点在红外通道和可见光通道上的锐度值；
[0024]根据锐度值的大小对应分配权值大小。
[0025]所述红外与可见光图像信号处理方法进一步的改进在于，通过以下方法计算所述亮度校正参数:
[0026]按照计算得到的可见光图像中每个像素点对应的颜色特征值，计算得到红外通道和可见光通道的亮度校正参数，确保亮度增强之后的图像和输入的可见光图像具有相同的颜色特征值。
[0027]所述红外与可见光图像信号处理方法进一步的改进在于，所述亮度校正参数的计算中还包括利用可见光图像和红外图像的亮度信息对亮度校正参数进行校准。
[0028]本发明还公开了一种红外与可见光图像信号处理装置，包括:
[0029]一图像输入单元，用于获取校正前包含红外信息的下采样的可见光图像；
[0030]一内插单元，连接所述图像输入单元，用于将所述可见光图像各分量的下采样图像内插至全幅面图像；
[0031]一红外校正单元，连接所述内插单元，用于对所述全幅面图像进行分离，分离出一红外图像和一红外校正后的可见光图像；
[0032]一亮度、锐度补偿单元，连接所述红外校正单元，用于对所述红外图像和所述红外校正后的可见光图像的亮度和锐度进行补偿及增强，并融合成一个图像；
[0033]一校正图像输出单元，连接所述亮度、锐度补偿单元，用于输出融合后的图像。
[0034]所述红外与可见光图像信号处理装置进一步的改进在于，所述亮度、锐度补偿单元进一步包括:
[0035]一红外图像输入单元，连接所述红外校正单元，用于获取分离出的所述红外图像；
[0036]一可见光图像输入单元，连接所述红外校正单元，用于获取分离出的所述红外校正后的可见光图像；
[0037]一亮度计算单元，连接所述可见光图像输入单元，用于计算所述红外校正后的可见光图像的亮度；
[0038]一第一锐度计算单元，连接所述红外图像输入单元，用于计算所述红外图像的锐度；
[0039]一第二锐度计算单元，连接所述亮度计算单元，用于计算所述红外校正后的可见光图像的锐度；
[0040]一参数计算单元，连接所述可见光图像输入单元、所述第一锐度计算单元和所述第二锐度计算单元，用于计算不同色彩空间上的亮度校正参数和锐度校正参数；
[0041]一合成单元，连接所述红外图像输入单元、所述可见光图像输入单元和所述参数计算单元，用于对所述红外图像和所述红外校正后的可见光图像的亮度和锐度进行补偿及增强，并融合成一个图像；
[0042]所述合成单元进一步连接至所述校正图像输出单元，将所述融合后的图像输出至所述校正图像输出单元。
[0043]本发明由于采用了以上技术方案，使其具有以下有益效果是:本发明通过对红外图像以及经过红外校正后的可见光图像在锐度、色彩和亮度上进行分析，动态地将红外图像和可见光图像融合成一幅图像，且输出图像的亮度、颜色和锐度没有损失。解决了在校正由红外光导致的可见光图像偏色时引入的校正后图像亮度降低问题；以及由于被摄物体对红外和可见光反射率差异和镜头对不同波长光线聚焦能力差异引入的红外校正后图像锐度降低的问题。
【专利附图】
【附图说明】
[0044]图1是一种现有的典型的RGB图像传感器的量化响应曲线。
[0045]图2是本发明红外与可见光图像信号处理装置的结构示意图。
[0046]图3是本发明红外与可见光图像信号处理装置中亮度、锐度补偿单元的一个实施例的结构示意图。
[0047]图4是本发明红外与可见光图像信号处理方法的一个实施例的流程图。
【具体实施方式】
[0048]下面结合附图以及【具体实施方式】对本发明作进一步详细的说明。
[0049]首先参阅图2所示，本发明的红外与可见光图像信号处理装置主要由一图像输入单元11、一内插单元12、一红外校正单元13、一亮度、锐度补偿单元14以及一校正图像输出单元五个部分组成，其中，图像输入单元11用于获取校正前包含红外信息的下采样的可见光图像，即图像传感器采集到的原始RAW图像，具体RAW图像中各分量在图像空间上的分布和比例和图像传感器的格式相关。内插单元12连接图像输入单元11，用于将可见光图像各分量的下采样图像内插至全幅面图像。红外校正单元13连接内插单元12，用于完成全幅面图像中红外图像和可见光图像的分离，分离出一红外图像和一红外校正后的可见光图像。亮度、锐度补偿单元14连接红外校正单元13，用于对红外图像和红外校正后的可见光图像的亮度和锐度进行补偿及增强，并融合成一个图像。校正图像输出单元15，连接所述亮度、锐度补偿单元14，用于输出最终融合后的图像。
[0050]进一步配合图3所示，本发明的亮度、锐度补偿单元14包括一红外图像输入单元141，一可见光图像输入单元142、一亮度计算单元143、一第一锐度计算单元144、一第二锐度计算单元145、一参数计算单元146以及一合成单元147。其中，红外图像输入单元141连接红外校正单元13，用于获取分离出的红外图像。可见光图像输入单元142连接红外校正单元13，用于获取分离出的红外校正后的可见光图像。亮度计算单元143连接可见光图像输入单元142，用于计算红外校正后的可见光图像的亮度。第一锐度计算单元144连接红外图像输入单元141，用于计算红外图像的锐度。第二锐度计算单元145连接亮度计算单元143，用于计算红外校正后的可见光图像的锐度。参数计算单元146分别连接于可见光图像输入单元142、第一锐度计算单元144和第二锐度计算单元145，用于计算不同色彩空间上的亮度和锐度的校正参数。合成单元147分别连接于红外图像输入单元141、可见光图像输入单元142和参数计算单元146，用于对红外图像和红外校正后的可见光图像的亮度和锐度进行补偿及增强，并将补偿及增强后的红外图像和红外校正后的可见光图像融合成一个图像。合成单元147进一步连接至校正图像输出单元15，将亮度、锐度补偿及增强后的融合的图像输出至校正图像输出单元15，完成图像处理。
[0051]本发明红外与可见光图像信号处理方法具体包括如下步骤:
[0052]假设经过前置的红外校正单元13得到了红外校正后的可见光图像。经过前置的内插单元12得到了红外图像。首先计算可见光图像中每个像素点对应的颜色特征值。
[0053]此处颜色特征值包括但不限于:像素点的RGB三个色彩通道之间的比例关系，像素点的色度值和饱和度值；或者像素点在其他色彩空间上的色彩信息表示。
[0054]然后计算可见光图像中每个像素点对应的锐度信息。
[0055]计算红外图像中每个像素点对应的锐度信息。
[0056]锐度信息的计算可以利用当前像素点周围的nXn个像素，通过索贝尔或拉普拉斯算子得到。由于可见光图像中每个像素点有RGB三个颜色分量，因此可以先将其转换至亮度区域后再进行锐度计算，也可以分别计算RGB三个颜色通道上的锐度，取三者最大值当做当前像素点在可见光图像上的锐度。
[0057]根据上述计算得到的:可见光图像中每个像素点对应的色彩相关信息、可见光图像和红外图像每个像素点的锐度信息、可见光和红外图像的亮度信息，综合计算得到可见光图像和红外图像在亮度和锐度域上的亮度校正参数和锐度校正参数。
[0058]锐度校正参数的计算思想如下:比较当前像素点在红外通道和可见光通道上的锐度值，锐度值大的对应分配较大权值，锐度值小的对应分配较小权值。
[0059]亮度校正参数的计算思想如下:按照上述计算得到的可见光图像中每个像素点对应的颜色特征值，计算得到红外通道和可见光通道的亮度校正参数，确保亮度增强之后的图像和输入的可见光图像具有相同的颜色特征值。
[0060]上述亮度校正参数的计算中，还可以利用可见光和红外图像的亮度信息对亮度校正参数进行校准。其思想如下:在调整系数的计算中，若当前像素可见光的亮度信息较低时，该点的颜色特征值可能受噪声影响较大，此时计算得到的调整系数置信度较低。反之，则调整系数的置信度较高。
[0061]最终，将输入可见光图像和红外图像在某一个色彩空间上按照上述计算得到的锐度校正参数和亮度校正参数进行逐像素点加权合成。
[0062]上述逐像素点加权合成具体指，在RGB域时，采用公式:
[0063]C’ = CX ((l-fE)+IRXfLXfEX α)实现。其中的C代表可见光图像的RGB三通道分量，C’代表校正后图像的RGB三通道分量，IR是红外通道，fE是锐度校正参数，fL是亮度校正参数，α是置信调整因子。在YUV亮度-色差域时，亮度通道采用公式:
[0064]Y’ = YX ((l-fE)+IRXfLXfEX α)实现，色差通道采用公式 Cd’ =(Cd-128)XCf+128。其中Y代表可见光图像的亮度通道分量，Y’代表校正后可见光图像的亮度通道分量，Cd代表可见光图像的两个色差通道分量，Cd’代表校正后图像的两个色差通道分量，Cf = (l-fE)+IRXfLXfEX α。
[0065]上述合成方法中，还可以分别对可见光图像和红外图像的亮度信息进行高通和低通滤波，得到两组高频和低频分量，相应地，可以得到红外低频分量+可见光高频分量以及红外高频分量+可见光低频分量这两组合成亮度图像，根据锐度校正参数动态分配两组亮度合成图像的权值，加权后得到当前像素点的最终合成亮度。合成色度分量在可见光图像的色度分量的基础上乘以色度校正因子，确保合成后输出的饱和度、色调和可见光图像的饱和度、色调一致。
[0066]至此，本发明描述的红外与可见光图像的信号处理方法结束。
[0067]图4所示是本发明提供的红外和可见光图像亮度、锐度校正方法的一个实施例的流程图，具体包括如下步骤:
[0068]Α)逐点计算经过红外校正后可见光图像每个像素点的RGB三通道比例。
[0069]B)逐点计算经过红外校正后可见光图像每个像素点的亮度，亮度L采用近似公式L = 0.3XR+0.6XG+0.1 XB 得到。
[0070]C)利用步骤B中得到的亮度信息计算当前像素点对应的锐度匕，锐度信息利用以当前像素点为中心的3X3区域像素点的亮度值与索贝尔算子做卷积运算得到。
[0071]D)与布骤C类似，计算红外通道的锐度EIK。
[0072]E)计算得到锐度校正参数fE，亮度校正参数4，其中:
[0073]亮度校正参数fL = 锐度校正参数尺=E fRE +1。
[0074]置信调整因子α通过对查表亮度L得到，其思想是L越大，置信度越高，α也就越大。
[0075]F)根据布骤E中计算得到的校正参数，在RGB域上分通道进行逐像素点加权合成。C’ = CX ((l-fE)+IRXfLXfEX α)其中的C代表可见光图像的RGB三通道分量，C’代表校正后图像的RGB三通道分量，IR是红外通道，fE是锐度校正参数，4是亮度校正参数，α是置信调整因子。
[0076]以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。
【权利要求】
1.一种红外与可见光图像信号处理方法，其特征在于所述方法包括以下步骤: 提供一红外图像以及一红外校正后的可见光图像； 计算所述可见光图像中每个像素点对应的颜色特征值； 利用所述颜色特征值计算所述可见光图像中每个像素点对应的锐度信息； 计算所述红外图像中每个像素点对应的锐度信息； 计算所述可见光图像和所述红外图像的锐度校正参数和亮度校正参数； 根据计算得到的所述锐度校正参数和亮度校正参数，在某一个色彩空间上进行逐像素点加权合成。
2.如权利要求1所述的红外与可见光图像信号处理方法，其特征在于:所述颜色特征值包括像素点的RGB三个色彩通道之间的比例关系、像素点的色度值和饱和度值；或者像素点在其他色彩空间上的色彩信息表示。
3.如权利要求1所述的红外与可见光图像信号处理方法，其特征在于:所述锐度信息的计算是利用当前像素点周围的nXn个像素，通过索贝尔或拉普拉斯算子得到的。
4.如权利要求1所述的红外与可见光图像信号处理方法，其特征在于通过以下方法计算所述锐度校正参数: 比较当前像素点在红外通道和可见光通道上的锐度值； 根据锐度值的大小对应分配权值大小。
5.如权利要求1所述的红外与可见光图像信号处理方法，其特征在于通过以下方法计算所述亮度校正参数: 按照计算得到的可见光图像中每个像素点对应的颜色特征值，计算得到红外通道和可见光通道的亮度校正参数，确保亮度增强之后的图像和输入的可见光图像具有相同的颜色特征值。
6.如权利要求5所述的红外与可见光图像信号处理方法，其特征在于:所述亮度校正参数的计算中还包括利用可见光图像和红外图像的亮度信息对亮度校正参数进行校准。
7.—种红外与可见光图像信号处理装置，其特征在于所述装置包括: 一图像输入单元，用于获取校正前包含红外信息的下采样的可见光图像； 一内插单元，连接所述图像输入单元，用于将所述可见光图像各分量的下采样图像内插至全幅面图像； 一红外校正单元，连接所述内插单元，用于对所述全幅面图像进行分离，分离出一红外图像和一红外校正后的可见光图像； 一亮度、锐度补偿单元，连接所述红外校正单元，用于对所述红外图像和所述红外校正后的可见光图像的亮度和锐度进行补偿及增强，并融合成一个图像； 一校正图像输出单元，连接所述亮度、锐度补偿单元，用于输出融合后的图像。
8.如权利要求7所述的红外与可见光图像信号处理装置，其特征在于所述亮度、锐度补偿单元进一步包括: 一红外图像输入单元，连接所述红外校正单元，用于获取分离出的所述红外图像； 一可见光图像输入单元，连接所述红外校正单元，用于获取分离出的所述红外校正后的可见光图像； 一亮度计算单元，连接所述可见光图像输入单元，用于计算所述红外校正后的可见光图像的亮度； 一第一锐度计算单元，连接所述红外图像输入单元，用于计算所述红外图像的锐度；一第二锐度计算单元，连接所述亮度计算单元，用于计算所述红外校正后的可见光图像的锐度； 一参数计算单元，连接所述可见光图像输入单元、所述第一锐度计算单元和所述第二锐度计算单元，用于计算不同色彩空间上的亮度校正参数和锐度校正参数； 一合成单元，连接所述红外图像输入单元、所述可见光图像输入单元和所述参数计算单元，用于对所述红外图像和所述红外校正后的可见光图像的亮度和锐度进行补偿及增强，并融合成一个图像； 所述合成单元进一步连接至所述校正图像输出单元，将所述融合后的图像输出至所述校正图像 输出单元。
【文档编号】H04N9/77GK104079908SQ201410328864
【公开日】2014年10月1日 申请日期:2014年7月11日 优先权日:2014年7月11日
【发明者】董鹏宇, 陈芳芳, 潘泽民, 王秀锋, 刘行 申请人:上海富瀚微电子股份有限公司