一种RGB-IR图像色彩恢复及校正的方法及装置

本发明涉及图像处理，尤其涉及一种rgb-ir图像色彩恢复及校正的方法及装置。

背景技术：

1、传统的cmos图像传感器采用bayer格式作为色彩滤波阵列（cfa, color filterarray），像素点的色彩信息根据特定波长的光来确定。rgb-ir传感器是一种新型的传感器，在rgb彩色颜色模式中加入ir滤镜，即红外光波长的感测。增加了ir摄像头，rgb-ir传感器可以提高暗光环境下的图像质量。rgb-ir图像传感器：一种新的滤镜（色彩滤波阵列，colorfilter array，简称cfa）排列方式，和传统图像传感器的bayer格式滤镜排列方式相比，将bayer格式的部分颜色通道滤镜换成红外滤镜（infra red，简称ir），能同时感应可见光和非可见光。rgb-ir图像传感器的像素具有四种类型的滤色器：红色（r）、绿色（g）、蓝色（b）和ir。标准彩色图像传感器具有按bayer模式排列的滤色阵列（cfa）。目前rgb-ir传感器的cfa图案有更多的可变性，比较常见的为2×2和4×4像素的阵列。将ir通道添加到rgb传感器的一个简单解决方案是将bayer模式中的红色和蓝色的数量减少一半。rgb滤色器在可见光谱中是选择性透射的，但在ir域中通常是高透射率的，因此rgb滤色器会接收来自ir通道的显著串扰。

2、rgb像素暴露于ir辐射会降低彩色图像的图像质量属性，随着ir部分的增加，颜色精度、空间分辨率、信噪比和动态范围都会退化。这种图像对于一些计算机视觉应用来说仍然是可以接受的，但是在智能人脸相机应用中，会导致严重的局部伪影，影响人脸识别效果，必须加以处理。对于rgb-ir图像传感器，现有的主流技术方案是将rgb通道中串扰进去的ir分量减掉，再按照传统的图像处理算法进行后续处理。但是由于r、g和b像素实际上分别是ir通道和r、g、b通道的叠加，且rgb滤波器具有高的ir透射率，更容易出现饱和与噪声。当出现饱和时，直接减去ir分量，会导致rgb颜色显得“褪色”，影响图像识别效果。

3、从rgb-ir图像中得到高质量的rgb和ir图像也可以被视为非传统滤色阵列的去马赛克问题。传统的去马赛克算法应用于rgb-ir传感器是不可能的，一是由于每个波段的折射率不同，rgb和ir图像的聚焦不同；二是rgb和ir通道之间引入了串扰；而且由于红外光的存在，原本图像传感器rgb信号与人类观察到的rgb图像之间的线性关系的假设将不成立，传统的色彩校正算法也不再支持。因此对于rgb-ir图像传感器的去马赛克算法和色彩校正算法均需要进行优化。

技术实现思路

1、本发明提供一种rgb-ir图像色彩恢复及校正的方法及装置，用以解决现有rgb-ir图像色彩恢复中过饱和以及ir分量去除操作复杂、效果差的问题，实现了rgb-ir图像关键区域权重动态调节，色彩恢复中自适应抗饱和处理以及生成色彩恢复校正联合矩阵的功能。

2、本发明提供一种rgb-ir图像色彩恢复及校正的方法，包括：

3、获取rgb-ir图像，提取rgb-ir图像中rgb三通道和ir分量像素的数值；

4、将关键区域和非关键区域逐个像素的rgb三通道数值与设定的阈值进行比较，根据逐个像素的统计分布，动态调整关键区域权重值，生成比较结果；

5、根据所述比较结果判断是否需要进行抗饱和处理，生成判断结果；

6、根据所述判断结果和关键区域权重进行rgb通道中ir分量的去除或保留，自适应抗饱和处理，生成色彩恢复校正联合矩阵，完成rgb-ir图像色彩联合恢复及校正。

7、根据本发明提供的一种rgb-ir图像色彩恢复及校正的方法，所述获取rgb-ir图像，提取rgb-ir图像中rgb三通道和ir分量像素的数值，具体包括：

8、输入rgb-ir图像，提取每个像素点r通道，g通道，b通道和ir通道的数据；

9、计算每个像素点r通道，g通道，b通道各自通道分量值，并计算rgb三通道中个通道中ir分量值和比例。

10、根据本发明提供的一种rgb-ir图像色彩恢复及校正的方法，将关键区域和非关键区域逐个像素的rgb三通道数值与设定的阈值进行比较，根据逐个像素的统计分布，动态调节关键区域权重值，生成比较结果，具体包括：

11、将关键区域和非关键区域逐个像素的rgb三通道数值与设定的阈值进行比较，比较结果为大于设定阈值，则为饱和像素；

12、将关键区域和非关键区域逐个像素的rgb三通道数值与设定的阈值进行比较，比较结果为小于等于设定阈值，则为不饱和像素；

13、根据关键区域和非关键区域饱和像素和不饱和像素的个数及不饱和像素亮度值分布情况，动态调节关键区域权重值。

14、根据本发明提供的一种rgb-ir图像色彩恢复及校正的方法，根据所述比较结果判断是否需要进行抗饱和处理，生成判断结果，具体包括：

15、在不饱和像素的情况下，亮度适中时，色彩恢复时将ir分量全部去除，不进行抗饱和处理；

16、在不饱和像素的情况下，亮度低时，色彩恢复时将ir分量部分去除，部分进行抗饱和处理；

17、在饱和像素的情况下，色彩恢复时保留ir分量，进行抗饱和处理。

18、根据本发明提供的一种rgb-ir图像色彩恢复及校正的方法，根据所述判断结果和关键区域权重进行rgb通道中的ir分量的去除或保留，自适应抗饱和处理，生成色彩恢复校正联合矩阵，完成rgb-ir图像色彩恢复及校正，具体包括：

19、在不需要抗饱和处理情况下，根据亮度值的高低以及ir分量的比例，确定去除rgb通道中的全部ir分量；

20、对于关键区域，根据关键区域权重和去除rgb通道中的全部ir分量的目的，得到关键区域第一色彩恢复校正矩阵：

21、；

22、对于关键区域，根据关键区域权重和去除rgb通道中的部分ir分量的目的，得到关键区域第二色彩恢复校正矩阵，所述关键区域第二色彩恢复校正矩阵与第一色彩恢复校正矩阵仅系数不同。

23、根据本发明提供的一种rgb-ir图像色彩恢复及校正的方法，根据所述判断结果和关键区域权重进行rgb通道中的ir分量的去除或保留，自适应抗饱和处理，生成色彩恢复校正联合矩阵，完成rgb-ir图像色彩恢复及校正，还包括：

24、在不需要抗饱和处理情况下，根据亮度值的高低以及ir分量的比例，确定去除rgb通道中部分ir分量；

25、对于非关键区域，根据非关键区域权重和去除rgb通道中的全部ir分量的目的，得到非关键区域第一色彩恢复校正矩阵：

26、；

27、对于非关键区域，根据非关键区域权重和去除rgb通道中的部分ir分量的目的，得到非关键区域第二色彩恢复校正矩阵，所述非关键区域第二色彩恢复校正矩阵与第一色彩恢复校正矩阵仅系数不同。

28、根据本发明提供的一种rgb-ir图像色彩恢复及校正的方法，根据所述判断结果和关键区域权重进行rgb通道中的ir分量的去除或保留，自适应抗饱和处理，生成色彩恢复校正联合矩阵，完成rgb-ir图像色彩恢复及校正，还包括：

29、在需要抗饱和处理的情况下，对于关键区域，根据cmos图像传感器的光谱响应曲线和关键区域权重得到关键区域第三色彩恢复校正矩阵；

30、通过关键区域第三色彩恢复校正矩阵进行关键区域饱和像素的色彩恢复及校正，关键区域第三色彩恢复校正矩阵为：

31、；

32、在需要抗饱和处理情况下，对于非关键区域，根据cmos图像传感器的光谱响应曲线和非关键区域权重得到非关键区域第三色彩恢复校正矩阵；

33、通过非关键区域第三色彩恢复校正矩阵进行非关键区域饱和像素的色彩恢复及校正，非关键区域第三色彩恢复校正矩阵与关键区域第三色彩恢复校正矩阵均为3x3矩阵，只是系数不同。

34、本发明还提供一种rgb-ir图像色彩恢复及校正的装置，所述装置包括：

35、数据获取模块，用于获取rgb-ir图像，提取rgb-ir图像中rgb三通道和ir分量像素的数值；

36、比较模块，用于将关键区域和非关键区域逐个像素的rgb三通道数值与设定的阈值进行比较，根据逐个像素的统计分布，动态调节关键区域权重值，生成比较结果；

37、判断模块，用于根据所述比较结果判断是否需要进行抗饱和处理，生成判断结果；

38、图像色彩恢复及校正模块，用于根据所述判断结果和关键区域进行ir分量的去除或保留，自适应抗饱和处理，生成色彩恢复校正联合矩阵，完成rgb-ir图像色彩恢复及校正。

39、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述rgb-ir图像色彩联合恢复及校正的方法。

40、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述rgb-ir图像色彩恢复及校正的方法。

41、本发明提供的一种rgb-ir图像色彩恢复及校正的方法及装置，通过对rgb值与阈值的比较，动态调节关键区域权重值，生成比较结果，根据比较结果判断是否需要抗饱和处理，采用不同的色彩恢复校正联合矩阵，不但可以实现自适应抗饱和处理，还可以精确、高效、简便地实现去除掉ir分量对图像的影响，优化信噪比、提升动态范围，并根据关键区域权重，生成色彩恢复校正联合矩阵，实现图像色彩恢复和校正。