本发明属于图像处理技术领域，具体涉及一种基于rgb-ir传感器的去噪增强装置及方法。
背景技术：
rgb-ir传感器可同时感应可见光和红外光信号，比传统bayer传感器更利于低光照条件成像。目前并没有针对rgb-ir传感器进行去噪处理的特定方法或装置。将现有的去噪方法直接运用到rgb-ir传感器，虽然能达到一定去噪效果，但是无法消除由于红外干扰带来的颜色失真。而现有rgb-ir颜色校正算法虽然能消除红外干扰，却很少对图像噪声进行关注。
技术实现要素：
针对现有技术的不足，本发明提供一种基于rgb-ir传感器的去噪增强装置及方法,针对rgb-ir传感器特殊感光特性进行去噪增强处理，先对各颜色分量和红外分量进行滤波去噪，再通过预实验配置参数以消除各颜色分量的红外干扰；在保留较多细节同时达到较好去噪效果，并且通过去干扰以增强各颜色分量，最终还可在各种成像环境通过配置控制参数实现去噪和细节均衡，以达到最佳成像效果。
为了解决现有技术存在不足，本发明提供一种基于rgb-ir传感器的去噪增强装置，包括图像输入单元、颜色通道分离单元、滤波处理单元、颜色增强单元、去噪强度控制单元及图像输出单元；
rgb-ir传感器成像形成m*n色彩阵列输出到图像输入单元；
图像输入单元与颜色通道分离单元相连，通过下采样实现将rgb-ir数据各颜色分量和ir分量进行分离，得到r分量、g分量、b分量以及ir分量，并行送入滤波处理单元；
滤波处理单元处理后输出为保留细节降噪处理的4通道数据，rdn分量、gdn分量、bdn分量以及irdn分量；
rdn分量、gdn分量、bdn分量以及irdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的irdn分量数据进行内插值，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；
原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；
对输出的去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。
作为一种优选方式，所述m*n色彩阵列是2*2或4*4格式。
作为一种优选方式，所述滤波处理单元包括滤波单元、细节信息检测单元，滤波单元包括r/b通道滤波单元、g通道滤波单元和ir通道滤波单元，不同单元邻域有效数据获取模块有所不同；细节信息检测单元包括内插单元和细节计算单元，最终将细节信息送入滤波单元。
作为一种优选方式，所述颜色增强单元包括r、g、b分量增强单元、ir通道内插单元和分量整合单元；其中，r、g、b分量增强单元由内置参数除去各颜色通道红外干扰；ir内插单元对滤波模块输出的ir数据进行内插，恢复各颜色通道位置的ir分量以辅助图像增强；分量整合单元将各增强模块输出的颜色分量和去噪输出的ir分量按输入阵列格式进行整合，得到去噪增强后的整体输出图，输出格式与传感器阵列格式完全一致。
本发明还提供一种基于rgb-ir传感器的去噪增强方法，包括以下步骤：
s1:rgb-ir传感器成像形成m*n色彩阵列输出到图像输入单元；
s2:图像输入单元与颜色通道分离单元相连，通过下采样实现将rgb-ir数据各颜色分量和ir分量进行分离，得到r分量、g分量、b分量以及ir分量，并行送入滤波处理单元；
s3:滤波处理单元处理后输出为保留细节降噪处理的4通道数据，rdn分量、gdn分量、bdn分量以及irdn分量；
s4:rdn分量、gdn分量、bdn分量以及irdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的irdn分量数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；
s5:原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；
s6:对上述去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。
作为一种优选方法，s3步骤滤波处理单元处理方法包括以下步骤：
1)细节信息检测单元通过内插单元的插值算法得到全幅g通道数据；
2)将各通道数据送入对应的滤波单元，同时参考细节计算单元进行滤波处理。
作为一种优选方法，所述步骤1)内插单元的插值算法是双线性插值或三次插值算法。
作为一种优选方法，步骤2)滤波处理包括高斯滤波或双边滤波或三边滤波或非局部均值滤波或导向滤波或bm3d滤波。
作为一种优选方法，s4步骤颜色增强单元处理方法包括以下步骤：
1)红外去噪分量插值，其实现与细节内插单元一致，插值算法采用双线性插值或曲线插值；
2)根据各颜色预置参数和颜色通道的ir插值分量进行去干扰，公式表达如下：mout＝mdn-km*irdn；其中，mout为增强后输出的各颜色通道值，mdn为去噪后的各颜色通道数据，irdn为去噪后的红外去噪分量插值，km为各颜色通道预置去干扰参数，其值通过预实验得到；
3)将去干扰的各颜色分量和红外去噪分量按原始数据阵列排列整合。
作为一种优选方法，步骤2)各颜色通道去干扰参数km具体计算步骤包括：
a)在相同环境针对同一场景采集rgb-ir原始数据和对比数据，在传感器上安装红外截止滤光片采集对比数据；
b)求原始数据与对比数据差值；
c)对原始数据红外通道内插，得到各颜色通道位置对应的红外数据；
d)求b)步骤中各颜色通道差值与对应出c)步骤数据比值；
e)将各颜色通道比值求均值，得到各颜色通道去干扰参数km。
作为一种优选方法，s5步骤根据去噪强度参数α决定去噪图像最终输出比例，其计算公式如下：imgout＝(1-α)*imgori+α*imgfilt，其中，imgout、imgori和imgfilt分别代表最终去噪图像，原始输入图像和滤波输出图像，其数据格式均与原始数据阵列格式相同，α为去噪强度参数，其值与各颜色通道、亮度控制及曝光参数相关。
本发明与现有技术相比有益效果：本发明针对rgb-ir传感器进行去噪增强处理，充分考虑传感器成像特性，在消除各分量噪声干扰同时，通过消除各颜色通道的红外干扰实现颜色增强；去噪强度控制单元通过配置与亮度、曝光参数相关的控制曲线，可适应多种环境输出最优去噪增强效果；还能有效校正其色偏现象，使得后在对rgb-ir传感器数据实现上述去噪效果的同时，后续图像处理模块的颜色校正及白平衡处理均可按传统数据进行。
附图说明
图1是本发明装置系统结构图。
图2是本发明滤波处理单元内部结构框图。
图3是本发明颜色增强单元内部结构图。
图4是本发明去噪强度控制参数曲线示意图。
图5是本发明2*2bayer格式数据阵列图。
图6是本发明4*4bayer格式数据阵列图。
图7是本发明5*5滤波邻域图。
图8是本发明5*5全幅细节数据图。
具体实施方式
下面对本发明的实施例作进一步的说明。以下实施例仅对本申请进行进一步说明，不应理解为对本申请的限制。
如图1所示，本发明提供一种基于rgb-ir传感器的去噪增强装置实施例，包括图像输入单元、颜色通道分离单元、滤波处理单元、颜色增强单元、去噪强度控制单元及图像输出单元；
rgb-ir传感器成像形成m*n色彩阵列输出到图像输入单元；
图像输入单元与颜色通道分离单元相连，通过下采样实现将rgb-ir数据各颜色分量和ir分量进行分离，得到r分量、g分量、b分量以及ir分量，并行送入滤波处理单元；
滤波处理单元处理后输出为保留细节降噪处理的4通道数据，rdn分量、gdn分量、bdn分量以及irdn分量；
rdn分量、gdn分量、bdn分量以及irdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的irdn分量数据进行内插值，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；
原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；
对输出的去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。
本发明还提供一种基于rgb-ir传感器的去噪增强方法实施例，包括以下步骤：
s1:rgb-ir传感器成像形成m*n色彩阵列输出到图像输入单元；
s2:图像输入单元与颜色通道分离单元相连，通过下采样实现将rgb-ir数据各颜色分量和ir分量进行分离，得到r分量、g分量、b分量以及ir分量，并行送入滤波处理单元；
s3:滤波处理单元处理后输出为保留细节降噪处理的4通道数据，rdn分量、gdn分量、bdn分量以及irdn分量；
s4:rdn分量、gdn分量、bdn分量以及irdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的irdn分量数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；
s5:原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；
s6:对上述去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。
本实施例可适用于基于rgb-ir传感器的去噪增强的应用场景中，基于rgb-ir传感器的去噪增强方法可以由基于rgb-ir传感器的去噪增强装置来执行，基于rgb-ir传感器的去噪增强装置的结构与方法中所述的结构相同。
下面结合基于rgb-ir传感器的去噪增强方法实施例具体描述实施过程如下：
1、图像输入模块通过rgb-ir传感器采集数据，输出m*n色彩阵列。m*n色彩阵列可以是如图5所示常见的2*2阵列格式或如图6所示4*4阵列格式。需要重点指出，rgb-ir传感器所搭配的光学滤镜及滤光片，影响着各颜色通道及红外通道在可见光及红外光波段的感应曲线，更进一步影响颜色增强参数。
2、颜色通道分离单元分离各颜色及红外分量，并得到4路输出数据。4路输出数据包括r分量、g分量、b分量以及ir分量，并行送入滤波处理单元。
3、如图2所示，滤波处理单元输入为r分量、g分量、b分量以及ir分量，本实施例以图5所示2*2输入阵列为例，则各通道输出仅为原图像矩阵的1/4，各通道滤波参考细节信息由细节信息检测单元得到，其中，细节信息检测单元包括内插单元和细节计算单元。具体滤波处理流程如下：
1)细节信息检测单元通过内插单元得到全幅g通道数据，具体实现不限于常见的双线性内插或三次插值等；
2)将各通道数据送入对应的滤波单元，同时参考细节计算单元进行滤波处理，具体滤波处理不限于常见的高斯滤波、双边滤波、三边滤波，非局部均值滤波，导向滤波或bm3d滤波等算法。
如图6所示，4*4的输入阵列的r滤波单元和基础高斯滤波为例对滤波处理流程进一步说明如下：
a)对待处理r数据点获取邻域数据，如图7所示，以r33为例，若选取5*5为滤波邻域，r有效数据点为r11、r15、r33、r51、r55，其余像素点不包含r通道信息，为该情况无效数据点，不参与实际滤波。需说明的是，有效数据点和无效数据点相对位置关系与传感器类型和中心点颜色值有关。
b)由数据中心点及邻域大小在细节计算单元进行定位，得到对应的5*5全幅细节数据，如图8所示，g12、g14、g21、g23、g25、g32、g34、g41、g43、g45、g52和g54为原始g数据，g11、g13、g15、g22、g24、g31、g33、g35、g42、g44、g51、g53、g55为内插得到的g数据值。
c)由细节计算单元计算该中心点细节信息辅助滤波，具体实现通过计算邻域中数据有效点的位置上的g11、g15、g33、g51、g55与中心点位置的g33差值，并得到一个5*5的细节权重矩阵w1，然后将对其进行归一化处理，使得各权重值均在0～1区间，且权重之和为1。同理，该邻域无效数据点处权值为0，不对滤波产生影响。
d)对r通道数据进行滤波，以高斯滤波为例，计算邻域内每个有效数据点与中心点的欧式距离，并以该距离为参数进行高斯加权，得到高斯权重矩阵w2，其公式表达如下：
e)以高斯滤波权重w2和细节权重w1矩阵对该中心点邻域有效点进行加权滤波，得到该点的去噪数据。
f)遍历r通道数据矩阵，重复上述步骤。
同样，对于b、g滤波和ir滤波单元，其滤波也由上述过程实现。注意，根据不同应用场景，滤波方法不限于高斯滤波，其余如双边滤波，非局部均值滤波等也可参考细节信息检测单元进行实现。
4、如图3所示，颜色增强单元通过对去噪后的ir通道数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，最终将消除干扰的r/g/b分量和ir通道分量进行整合。具体实现流程如下：
1)红外去噪分量插值，其实现与细节内插单元一致，不限于常见的双线性插值或曲线插值；
2)根据各颜色预置参数和颜色通道的ir插值分量进行去干扰，公式表达如下：mout＝mdn-km*irdn；其中，mout为增强后输出的各颜色通道值，mdn为去噪后的各颜色通道数据，irdn为去噪后的红外通道数据,也是1)步骤内插输出数据，km为各颜色通道预置去干扰参数，其值通过预实验得到；
a)在相同环境针对同一场景采集rgb-ir原始数据和对比数据，在传感器上安装红外截止滤光片采集对比数据；
b)求原始数据与对比数据差值；
c)对原始数据红外通道内插，得到各颜色通道位置对应的红外数据；
d)求b)步骤中各颜色通道差值与对应c)步骤得到数据比值；
e)将各颜色通道比值求均值，得到各颜色通道去干扰参数km。
3)将去干扰的各颜色分量和红外去噪分量按原始数据阵列排列整合。
5、去噪强度控制单元通过调整滤波前后的图像数据比例实现。根据去噪强度参数α决定去噪图像最终输出比例，其公式表达如下：imgout＝(1-α)*imgori+α*imgfilt；其中，imgout、imgori和imgfilt分别代表最终去噪图像，原始输入图像和滤波输出图像，其数据格式均与原始数据阵列格式相同，α为去噪强度参数，其值与各颜色通道、亮度控制及曝光参数相关。仅考虑亮度去噪控制时，α参数控制曲线横坐标表示亮度，纵坐标为控制参数α。如图4所示，当亮度较低或很高时，输出像素点几乎不进行去噪处理。
6、图像输出单元将最终去噪图像送入后续处理模块，根据后续处理需求可以通过内插对数据进行格式变换。
以上仅是本发明的优选实施方式，本发明的保护范围并不限于上述实施例，凡属于本发明思路下的技术方案均属于本发明保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。