一种基于RGB-IR图像数据的白平衡校正装置的制作方法

本实用新型属于图像处理技术领域，具体涉及一种基于RGB-IR图像数据的白平衡校正装置。

背景技术：

RGB-IR是一种可以同时进行可见光和红外光信号感光的图像传感器。红外光信号主要用于在低照度情况下提供场景亮度信息，而在正常照度情况，一般不需要额外亮度信息来补充，仅R、G、B可见光分量信号即可得到较好的成像效果。但由于红外光和可见光波长差异，两者成像靶面并不在同一深度，所以当以可见光平面准焦时，红外光信号会在成像面形成虚像影响图像的颜色和质量。除此之外，传统Bayer数据各分量值会随着光源变换产生一定偏差，具体表现在白色区域的偏色现象，即白色物体反射出光源信息导致成像颜色偏差。

综上所述，针对RGB-IR图像进行白平衡校正时，需要尽可能消除掉红外光信号对可见光分量的影响，并且需要对校正后的可见光数据进行白平衡处理使得在不同光源情况下的同一物体成像尽可能一致。

目前消除红外光影响的常见解决方案是在传感器前面配置IR-CUT双滤光片切换装置，即通过硬件控制红外截止低通滤光片和全光谱光学玻璃的切换，在白天光线充足时，让摄像机在红外截止低通滤光片模式下工作，消除红外信号对可见光成像的影响；当光线较暗时，切换至全光谱光学玻璃模式，通过IR信号分量对成像亮度进行补偿，提高低照度成像效果。显然，重复性机械切换，其稳定性很难完美保障，长时间使用可能导致切换失效。

对于传统RGB图像数据，现有的白平衡处理算法主要包括灰度世界法，白点检测法等。其中，灰度世界法基于灰度世界假设，即认为一幅具有大量色彩变换的图像，其R、G、B分量均值趋于同一灰度值。并以各分量均值为参考灰度值计算分量增量，然后对图像各像素进行白平衡校正。显然，当图像场景存在大量单色物体时，整副图像往往不满足灰度世界假设，所以用全局统计量进行白平衡校正容易出现误校现象。

常见的白平衡校正算法通过检测白点像素信息进行统计和增量校正。中国专利公开号CN1835600A公开一种技术方案：“一种白平衡方法包括以下步骤：a)去除一影像的一白物体上的色偏；b)利用该白物体的一像素信息来检测该影像的一参考白点；c)基于该像素信息及该色偏决定一尺度因子，以调整该影像的白平衡。”该技术方案白点检测主要基于YCbCr数据格式，在一定条件之下以最高亮度像素点为有效白点，最终通过该白点信息进行白平衡校正。显然，该算法较之于灰度世界法，校正结果更为精确，但其不仅需要经过数据格式转换，而且需要对每个数据点进行比较判断，图像分辨率越高，硬件实现负担越大。

技术实现要素：

针对现有技术的不足，本实用新型提供一种基于RGB-IR图像数据的白平衡校正装置,解决了带有红外分量的RGB-IR格式数据的白平衡校正问题。在消除IR分量对R、G、B分量的成像干扰的前提下对传感器数据进行白平衡处理，通过改进的分块白平衡校正技术，有效消除色偏的同时减少整个处理装置的复杂度，降低成本。

为了解决上述技术问题，本实用新型提供一种基于RGB-IR图像数据的白平衡校正装置，包括图像输入单元、红外校正强度控制单元、红外校正单元、白平衡增益计算单元、白平衡校正单元以及图像校正输出单元；

图像输入单元通过RGB-IR图像传感器获得M*N数据阵列；

红外校正强度控制单元基于可见光强度大小，输出红外校正强度参数K；

红外校正单元根据传感器R、G、B及IR通道的响应曲线参数和红外校正强度参数K实现颜色分量通道消除红外分量；

白平衡增益计算单元实现白平衡统计、标记、增益计算处理。

白平衡增益计算单元和红外校正单元、白平衡校正单元相连，白平衡校正单元根据增益参数对红外校正单元输出各颜色分量进行校正；

图像校正输出单元对经过红外校正和白平衡校正的图像数据进行传输。

作为一种优选方式，白平衡增益计算单元包括白平衡统计单元、白平衡标记单元、增益计算单元，其中，白平衡统计单元根据数据格式对R、G、B分量进行分块均值统计，输出各分块颜色分量平均值；白平衡标记单元基于白平衡统计单元输出各分块颜色分量平均值进行白块检测，根据检测结果对各数据块进行标记，并将其送入增益计算单元；增益计算单元接收白平衡统计参数和白块标记参数，根据标记参数计算有效白块的R、G、B增益，并将所有“白块”增益量求均值得到各颜色分量的增益参数。

作为一种优选方式，M*N数据阵列是2*2或4*4阵列格式。

作为一种优选方式，红外校正强度控制单元包括可见光强度计算单元和去红外强度控制单元，可见光强度单元粗略计算图像数据颜色分量与红外分量差值，并将三通道差值均值作为可见光强度估计值，送入去红外强度控制单元；红外控制单元输出一个红外校正强度参数K。

作为一种优选方式，红外校正单元包括红外校正子单元和输出控制子单元，红外校正子单元内置R、G、B及IR响应曲线参数，代表各颜色分量对红外光波段的响应峰值与红外分量在红外波段响应峰值的比值的[α，β，γ]数组；输出控制子单元决定RGB-IR图像数据经过红外校正模块之后输出数据格式类型，通过内插实现。

本实用新型与现有技术相比有益效果：本实用新型的红外校正强度控制单元通过比较可见光与红外光数据，输出0～1的红外校正强度参数实现各成像环境的红外光校正控制，不仅可以用0和1强度代替双滤光片切换机械装置，还可以设定其它校正强度用于图像增强；本实用新型的白平衡分块统计校正，以分块统计量代替块数据遍历，提高检测效率，并且合理分块参数的设置也适用于大多数场景的白块检测和校正。本实用新型一次性校正RGB-IR原始数据的红外信号干扰和色温偏色，输出数据直接送入现今大多数图像信号处理模块进行处理。

附图说明

图1是本实用新型装置结构图。

图2是本实用新型红外校正强度控制单元内部结构图。

图3是本实用新型红外校正单元结构图。

图4是本实用新型RGB-IR数据阵列结构图。

图5是红外校正强度参数K配置示意图。

具体实施方式

下面对本实用新型的实施例作进一步的说明。以下实施例仅对本申请进行进一步说明，不应理解为对本申请的限制。

如图1所示，本实用新型给出一个装置实施例，一种基于RGB-IR图像数据的白平衡校正装置，包括图像输入单元、红外校正强度控制单元、红外校正单元、白平衡增益计算单元、白平衡校正单元以及图像校正输出单元；

其中，图像输入单元通过RGB-IR图像传感器获得M*N数据阵列；红外校正强度控制单元基于可见光强度大小，输出一个红外校正强度参数K；红外校正单元根据传感器R、G、B及IR通道的响应曲线参数和红外校正强度参数K实现颜色分量通道消除红外分量；白平衡增益计算单元包括白平衡统计单元、白平衡标记单元、增益计算单元，红外校正单元输出阵列数据到白平衡统计单元，白平衡统计单元根据数据格式对R、G、B分量进行分块均值统计，输出各分块颜色分量平均值；白平衡标记单元基于白平衡统计单元输出各分块颜色分量平均值进行白块检测，根据检测结果对各数据块进行标记，并将其送入增益计算单元；增益计算单元接收白平衡统计参数和白块标记参数，根据标记参数计算有效白块的R、G、B增益，并将所有“白块”增益量求均值得到各颜色分量的增益参数；白平衡校正单元与增益计算单元和红外校正单元相连，白平衡校正单元根据增益参数对红外校正单元输出各颜色分量进行校正；图像校正输出单元对经过红外校正和白平衡校正的图像数据进行传输。

本实用新型实施例具体实施过程如下：

步骤1：图像输入单元输入数据格式为RGB-IR色彩阵列的Bayer数据，不限于常见的2*2或4*4数据阵列格式。RGB-IR传感器所搭配的光学滤镜及滤光片，决定各通道对不同波段光的响应曲线，而该响应曲线又影响着红外校正单元内置的响应参数。例如当各颜色通道与红外通道在红外波段响应基本一致时，该响应参数可预置为[1 1 1]。

步骤2：如图2所示，红外校正强度控制单元由可见光强度计算单元和去红外强度控制单元两部分组成。可见光强度计算通过粗略比较可见光与红外光强度值“还原”光场景，其实现流程如下：

21)将R、G、B各通道值减去其对应最小单元的红外通道值，并以颜色通道差均值作为该最小数据阵列单元的可见光强度；

22)计算各最小单元可见光强度均值为整体估计值；

23)根据整体估计值配置红外校正强度：其具体实现可以预设一个“强光”阈值Tu，当估计值大于等于该阈值时，认为无需红外分量补偿，即设校正控制强度K为1；同时设置“弱光”阈值Td，当小于该阈值时，配置控制强度K为0；其余估计值以强弱阈值归一化即可。公式表达如下：

其中，Lx为当前可见光强度估计值，强弱光阈值参数可以由双滤光片切换装置进行预实验求得，其配置曲线示意图如图5所示。

步骤3：如图3所示，红外校正单元对各颜色分量进行去红外处理，并根据输出要求进行数据格式调整。红外校正子单元校正过程如下：

31)由预置响应参数[αβγ]和红外校正强度参数K计算各颜色分量去红外强度，即其相对于该最小图像单元的红外分量的校正比值；

32)各颜色分量减去红外分量与对应校正比值的乘积，此时完成对各颜色分量的红外校正。公式表达如下：

其中，Rn、Gn、Bn分别代表红外校正后的颜色分量，Ro、Go、Bo、IRo分别为未经红外校正的颜色和红外分量，K为校正控制强度参数，[αβγ]为预置响应参数。

以输出格式为RGGB Bayer阵列为例，输出控制子单元流程如下：如图4所示，以IR分量对角线相邻4个G颜色分量进行内插代替该IR分量值，具体内插函数不限于常用的双线性插值或三次插值；再者，若输出RGB格式数据，以上述RGGB数据进行常规去马赛克处理；或者不经过RGGB格式转换，直接根据邻域值恢复IR通道的RGB各颜色分量，然后其余像素点与常规去马赛克处理一致。

当红外校正强度参数K较小，即需要保留一定红外分量进行图像增强时，其输出控制子单元不仅仅包含上述过程，而且还需要融合红外数据和颜色分量，此过程不在本实施例详细叙述。

步骤4：白平衡统计单元以分块统计数据代替像素点进行“白块”检测。具体分块规则需要实现人员根据传感器规格和经验进行设定。以16*16分块为例，其白平衡统计单元如下：

41)统计各数据块R、G、B颜色分量均值；

42)将16*16*3的均值统计数据送入白平衡标记单元和增益计算单元。

步骤5：白块标记单元判断分块数据是否为有效“白块”，其计算流程如下：

51)将16*16*3大小的统计数据进行第二通道归一化，即将每块的均值R

和均值B除以该块均值G；

52)归一化与1求差并取绝对值；

53)将差值绝对值与阈值T比较，若每块的三个差值绝对值均其小于等于T，则认为该块R、G、B颜色分量接近，即标记该块为有效“白块”，T值可取0.05～0.15。

白块标记单元输出16*16的逻辑数据，0代表该块为非“白块”，1则代表该块为有效“白块”。

步骤6：增益计算单元根据白块标记保留和删除白平衡统计数据，并根据

61)有效“白块”进行增益计算。具体如下：

62)获取有效“白块”统计均值；

将该块三个均值求平均，步骤61、62的数学表达式如下：

其中Grayi为该块参考灰度，i表示第i块数据块，为该块均值，flagi为该块白块标记；

63)以该均值为参考灰度值，并计算各颜色分量增益值，具体如下：

64)对有效“白块”各颜色分量增益值取平均，得到最终颜色分量整体增益值，具体如下：

其中，Mg、Mgi分别代表各颜色分量整体增益值和各块增益值，i代表第i数据块，n代表分块总数，flagi代表各块标记值，取值为0或1。

步骤7：白平衡校正单元根据各颜色分量增益参数对红外校正单元输出数据进行白平衡校正，即将各颜色分量分别乘以各颜色增益值，以校正色偏。具体计算如下：Mnew＝Morg×Mg，其中，Mnew为最终输出的白平衡校正的各颜色数据，Morg为红外校正模块输出各颜色数据，Mg为增益计算模块输出的各颜色分量增益值。

步骤8：图像校正输出单元对经过红外校正和白平衡校正图像数据进行传输。

以上仅是本实用新型的优选实施方式，本实用新型的保护范围并不限于上述实施例，凡属于本实用新型思路下的技术方案均属于本实用新型保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理前提下的若干改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。