一种基于红外环境的RGB‑IR图像传感器的颜色校正方法与流程

本发明所涉及一种图像颜色校正方法，尤其涉及一种基于多红外环境的RGB-IR图像传感器的颜色校正方法，可应用于安防、移动车载、家居安防、家居智能等技术领域。

背景技术：

安防监控为了实现24小时监控录像，既需要在环境照度低的情况下利用红外补光实现夜视技术，又需要在环境照度充分的情况下消除红外光对RGB通道的影响。目前业内广泛采用的一种方法是在摄像机镜头组里内置一组双滤光片切换器(IR-CUT)。IR-CUT依靠光线的变化来切换滤光片，在光线强的环境里，自动开启红外截止滤光片，通过光学滤镜从入射光中过滤掉红外光；在光线弱的环境里，自动移开红外截止滤光片，利用RGB通道对红外光的响应提升图像传感器的低光效果，从而实现白天和黑夜监控方式的切换。这种方法能够很好地实现多波段成像，但是内置的机械式的IR-CUT不但会增加摄像机的体积和成本，而且随着使用次数的增加，摄像机的稳定性和可靠性也会逐渐变差。因此，去掉IR-CUT，利用RGB-IR图像传感器分开获取RGB及IR图像将会具有更大的优势。

此外，各种环境因素的改变都会造成色温的差异。色温越高，光色越偏蓝；色温越低则越偏红。而人的视觉系统具有颜色恒常性，能够在一定程度上消除环境因素对颜色的影响，从而正确地感知物体本身所固有的颜色。但是摄像头却不具备这样的自适应能力。为了贴近人的视觉标准，现有的图像处理技术通过白平衡(White Balance，简称WB)来校正色温，使得在各种光线下拍摄的图像色彩和人眼所看到的图像色彩贴近。另外，由于不同的传感器对不同光线色彩的响应与人的视觉系统相比对颜色的响应也有所不同，所以同样需要对图像的颜色做相应的校正以接近人的视觉。目前常用的全局图像颜色校正方法为色彩校正矩阵(Color Correction Matrix，简称CCM)。

RGB-IR是一种图像传感器的色彩滤波阵列(Color Filter Array，简称CFA)，其与图像传感器普遍使用的Bayer型格式CFA相比，RGB-IR将Bayer型格式中的部分绿色滤镜替换为红外滤镜(Infrared，简称IR)。RGB-IR型格式的图像传感器相对于Bayer型格式图像传感器的优点是可同时感应可见光和红外光。图1是典型的RGB-IR滤镜排列方式。以下为了行文方便，文中统一将图像传感器上所有覆盖的红色滤镜、绿色滤镜、蓝色滤镜以及红外滤镜依次分别称为R通道、G通道、B通道和IR通道。

图2是一种典型的RGB-IR图像传感器的量化响应曲线。由于追求低光效果及图像传感器制造工艺等原因，RGB通道在感应可见光(400～650nm)的同时还会感应红外光(850nm)，同理，IR通道在感应红外光的同时也会感应可见光。因此，寻求简易可行的校正方法，消除红外光对RGB通道的影响具有极其重要的意义。

现有技术中存在的同时校正红外分量和可见光的色温、颜色变化的方法，但其不能实时校正多种红外分量，且校正的方法复杂，可控性低的缺点。

中国专利申请CN103686111A公开了“一种基于RGBIR图像传感器的颜色校正方法以及装置”，该校正方法虽然一定程度上实现了颜色校正的功能，但其是通过计算校正矩阵的方法，步骤烦琐，不同红外环境的自适应性较差，且基本不能同时校正多种红外分量。

技术实现要素：

本发明的目的是为了克服上述现有技术中存在的不足，而提供一种基于红外环境下的RGB-IR图像传感器的颜色校正方法，该方法实时校正多种红外分量对RGB通道的影响,并且校正可见光的色温、颜色变化的影响，优点在于不使用IR-CUT即可达到实时消除多种红外分量对RGB通道的影响，同时兼容单一红外的环境，从而达到校正可见光的色温和颜色对RGB通道的影响。

为了实现上述目的，本发明采用的技术方案是：

一种基于红外环境的RGB-IR图像传感器的颜色校正方法，它包括以下步骤：

1)输入RGB-IR图像，对该RGB-IR图像进行插值处理，计算得到每个像素点位置的RGB通道及IR通道的数值，得到全幅面的RGB及IR图像；

2)将R、G、B通道数值减去对应位置的IR通道的数值，得到每个像素点位置的实际RGB通道的数值，即获得滤除红外光分量的RGB通道值；

3)对步骤2)的R、G、B通道进行WB色温和CCM颜色校正，输出校正后的RGB图像。

进一步的改进在于，所述插值处理是线性插值或梯度插值。

进一步的改进在于，所述RGB-IR图像传感器搭配光学滤镜及滤光片，其感应波长为400-650nm的可见光及感应波长850nm红外光,IR通道在感应红外光的同时也感应可见光。

进一步的改进在于，上述步骤2)中获得滤除红外光分量的RGB通道值的方法如下：

计算图像R、G、B及IR四通道像素值，作为公式一的R₀、G₀、B₀、IR₀，其中R₀、G₀、B₀为各通道可见光分量(R、G、B)和红外光分量(IR₀)的叠加，IR₀为多种红外分量的叠加，即R₀＝R+IR₀，G₀＝G+IR₀，B₀＝B+IR₀，将原图像的R₀、G₀、B₀通道数值减去对应位置的IR₀通道的数值，得到的R_c、G_c、B_c为消除IR分量的RGB通道值；

公式一：

进一步的改进在于，红外光源数量可以是一个或两个或多个，若一个红外光源条件下公式一中IR₀＝IR_a；若为多个红外光源条件下公式一中的IR₀＝IR_a+IR_b+IR_c+IR_d+…,通过公式一计算获得RGB通道值，

进一步的改进在于，公式一中α、β、γ为可控系数，即：R_c＝R₀-α*IR₀，其中0≤α≤1；G_c＝G₀-β*IR₀,其中0≤β≤1；B_c＝B₀-γ*IR₀，其中0≤γ≤1。

当α＝0，表示不消除R通道的红外分量；当α＝1，表示消除R通道的全部红外分量；当0＜α＜1，消除R通道一定比例的红外分量。同理，当β＝0，表示不消除G通道的红外分量；当β＝1，表示消除G通道的全部红外分量；当0＜β＜1，消除G通道一定比例的红外分量。亦同理，当γ＝0，表示不消除B通道的红外分量；当γ＝1，表示消除B通道的全部红外分量；当0＜γ＜1，消除B通道一定比例的红外分量；通过配置α、β、γ的大小，来消除对应的R、G、B通道的相应比例的IR分量。此外，可控系数α、β、γ与当前像素点的亮度密切相关。

本发明通过两次校正，第一次校正实时消除原始RGB-IR图像的一种或多种红外分量对RGB通道的影响，第二次校正消除可见光的色温和颜色对RGB通道的影响，完成了对多红外环境的RGB-IR图像传感器的颜色校正，使校正后的图像颜色贴近人的视觉标准。

本发明与现有技术相比较的优势：1、本发明方法既可以适用于多红外环境的RGB-IR图像传感器的颜色校正，也兼容单一红外环境下的RGB-IR图像传感器的颜色校正。2、直接计算法可实时分离红外分量，无需繁杂的计算校正矩阵，步骤更简洁，可控性更高，红外环境的自适应性更好。3、本发明方法同时消除红外分量对RGB通道的影响，也校正了可见光色温和颜色变化对RGB通道的影响。

附图说明

图1是一种典型的RGB-IR滤镜排列方式。

图2是一种典型的RGB-IR图像传感器的量化响应曲线。

图3是本发明的颜色校正方法框图。

图4是本发明多种红外环境下RGB-IR图像传感器颜色校正方法实例。

图5是本发明一种红外环境下RGB-IR图像传感器颜色校正方法实例。

具体实施方式

下面对本发明的实施例作进一步的说明，以下实施例仅对本申请进行进一步说明，不应理解为对本申请的限制。

如图3所示的一种基于红外环境的RGB-IR图像传感器的颜色校正方法的框图，它包括以下步骤：

1)从RGB-IR图像传感器输入RGB-IR图像，对该RGB-IR图像进行插值处理，计算得到每个像素点位置的RGB通道及IR通道的数值，得到全幅面的RGB及IR图像；

2)将R、G、B通道数值减去对应位置的IR通道的数值，得到每个像素点位置的实际RGB通道的数值，即获得滤除红外光分量的RGB通道值；

3)对步骤2)的R、G、B通道进行WB色温和CCM颜色校正，输出校正后的RGB图像。

所述颜色校正方法的进一步的改进在于，所述插值处理包括线性插值和梯度插值。

所述RGB-IR图像传感器搭配光学滤镜及滤光片，其感应波长为400-650nm的可见光及感应波长850nm红外光,IR通道在感应红外光的同时也感应可见光。

步骤2)获得滤除红外光分量的RGB通道值的方法如下：

计算图像R、G、B及IR四通道像素值，作为公式一的R₀、G₀、B₀、IR₀，其中R₀、G₀、B₀为各通道可见光分量(R、G、B)和红外光分量(IR₀)的叠加，IR₀为多种红外分量的叠加，即R₀＝R+IR₀，G₀＝G+IR₀，B₀＝B+IR₀，将原图像的R₀、G₀、B₀通道数值减去对应位置的IR₀通道的数值，得到的R_c、G_c、B_c为消除IR分量的RGB通道值；

公式一：

红外光源数量可以是一个或两个或多个，若一个红外光源条件下公式一中IR₀＝IR_a；若为多个红外光源条件下公式一中的IR₀＝IR_a+IR_b+IR_c+IR_d+…,通过公式一计算获得RGB通道值，其中IR_a，IR_b，IR_c，IR_d...为多红外环境下，该像素点对光源的红外分量的响应。

公式一中α、β、γ为可控系数，0≤α≤1；0≤β≤1；0≤γ≤1，当α＝0，表示不消除R通道的红外分量；当α＝1，表示消除R通道的全部红外分量；当0＜α＜1，消除R通道一定比例的红外分量；

同理，当β＝0，表示不消除G通道的红外分量；当β＝1，表示消除G通道的全部红外分量；当0＜β＜1，消除G通道一定比例的红外分量；

当γ＝0，表示不消除B通道的红外分量；当γ＝1，表示消除B通道的全部红外分量；当0＜γ＜1，消除B通道一定比例的红外分量；通过配置α、β、γ的大小，来消除对应的R、G、B通道的相应比例的IR分量。

实施例1：

如图4所示，在多红外环境下的RGB-IR图像传感器的颜色校正方法，它包括如下步骤：

将D65光源和A光源分别照射A、B区域，RGB-IR图像传感器搭配双峰滤光片拍摄放置在A、B区域的色卡；

对RGB-IR图像传感器响应的原始图像进行线性插值，计算图像四通道像素值，作为公式一的R₀、G₀、B₀、IR₀。其中R₀、G₀、B₀为各通道可见光分量和红外光分量的叠加，IR₀为多种红外分量的叠加(此实施例列举了两种红外分量的环境，但本方法不局限于两种红外分量的环境，亦可是两种以上)。即R₀＝R+IR₀、G₀＝G+IR₀、B₀＝B+IR₀、IR₀＝IR_a+IR_b。其中IR_a为该像素点对A光源红外分量的响应，IR_b为该像素点对D65光源红外分量的响应；

公式一：

如公式一所示，原图像的R₀、G₀、B₀通道数值减去对应位置的IR₀通道的数值，得到的R_c、G_c、B_c为消除IR分量的RGB通道值

如公式一所示，原图像的R₀、G₀、B₀通道数值减去对应位置的IR₀通道的数值，得到的R_c、G_c、B_c为消除IR分量的RGB通道值。其中α、β、γ为可控系数(0≤α≤1；0≤β≤1；0≤γ≤1)。当α＝0，表示不消除R通道的红外分量；当α＝1，表示消除R通道的全部红外分量；当0＜α＜1，消除R通道一定比例的红外分量。当β＝0，表示不消除G通道的红外分量；当β＝1，表示消除G通道的全部红外分量；当0＜β＜1，消除G通道一定比例的红外分量。当γ＝0，表示不消除B通道的红外分量；当γ＝1，表示消除B通道的全部红外分量；当0＜γ＜1，消除B通道一定比例的红外分量。通过配置α、β、γ的大小，可以消除对应的R、G、B通道的相应比例的IR分量。本实施例可控系数默认配置为1值，完全消除RGB通道的红外分量影响(校正时可根据实际需要调整可控参数以消除不同比例的红外光分量)，本发明对消除了红外分量的RGB通道图像进行WB和CCM校正，解决可见光的色温和颜色变化造成的偏色问题。本发明实施例所述的多红外环境不仅限于D65光源与A色温光源所形成的混合光源，也可以是其他类型的混合光源，以及傍晚时分、室内和室外等多红外环境。

实施例2：

如图5所示，在单一红外环境下的RGB-IR图像传感器的颜色校正方法，它包括如下步骤：

将D65光源(不仅限于D65光源，也适用于任何一种单色光源)照射放置色卡的区域，RGB-IR图像传感器搭配双峰滤光片拍摄D65光源照射区域的色卡；

对RGB-IR图像传感器响应的原始图像进行线性插值，计算图像四通道像素值，作为公式一的R₀、G₀、B₀、IR₀。其中R₀、G₀、B₀为各通道可见光分量和红外光分量的叠加，IR₀为一种红外分量。即R₀＝R+IR₀、G₀＝G+IR₀、B₀＝B+IR₀。其中IR₀为该像素点对D65光源红外分量的响应；

公式一：

如公式一所示，原图像的R₀、G₀、B₀通道数值减去对应位置的IR₀通道的数值，得到的R_c、G_c、B_c为消除IR分量的RGB通道值。其中α、β、γ为可控系数(0≤α≤1；0≤β≤1；0≤γ≤1)。当α＝0，表示不消除R通道的红外分量；当α＝1，表示消除R通道的全部红外分量；当0＜α＜1，消除R通道一定比例的红外分量。当β＝0，表示不消除G通道的红外分量；当β＝1，表示消除G通道的全部红外分量；当0＜β＜1，消除G通道一定比例的红外分量。当γ＝0，表示不消除B通道的红外分量；当γ＝1，表示消除B通道的全部红外分量；当0＜γ＜1，消除B通道一定比例的红外分量。通过配置α、β、γ的大小，可以消除对应的R、G、B通道的相应比例的IR分量。本实施例可控系数默认配置为1值，完全消除RGB通道的红外分量影响(校正时可根据实际需要调整可控参数以消除不同比例的红外光分量)。本发明对消除了红外分量的RGB通道图像进行WB和CCM校正，解决可见光的色温和颜色变化造成的偏色问题。

本发明实施例所述的插值方法不仅限于线性插值，也包括梯度差值等其他方法。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。