一种成像系统及图像处理方法与流程

本申请涉及计算机视觉技术领域，特别是涉及一种成像系统及图像处理方法。

背景技术：

在当前的成像系统中，通常采用图像传感器成像。图像传感器使用光电转换器件，例如ccd(charge-coupleddevice，电荷耦合期间)、cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)等。图像传感器包括多类通道，各类通道被分别布置为与像素阵列中的像素对应，一个通道对通过的光分量进行响应，对应得到一个像素，进而能够实现将光信号转换为图像信号。

但是，由于各类通道之间的图像信号会相互影响，例如rgb(彩色)通道除感受到彩色光的能量以外，还能感受到部分nir(nearinfrared，近红外光)光的能量，导致成像效果较差。因此，相应的成像系统中，采用插值方式，通过使用rgb通道的空间信息对nir通道进行插值、使用nir通道的空间信息对rgb通道进行插值，插值的过程分析了rgb通道和nir通道之间的相关性，得到的差值图像具有较高的分辨率，从而提高了成像效果。

然而，在实际环境中，各类通道所响应的光分量的能量存在较大差异，采用上述插值方法虽然能够分析出通道间的相关性，但是在成像时还是利用统一的成像策略，实际的成像效果并不理想。

技术实现要素：

本申请实施例的目的在于提供一种成像系统及图像处理方法，以提高成像系统的成像效果。具体技术方案如下：

第一方面，本申请实施例提供了一种成像系统，所述系统包括：图像传感器、统计单元和曝光控制单元；所述图像传感器包括多类通道；

所述图像传感器，用于将光信号转换为图像信号，所述光信号包括多种波段范围内的光分量；

所述统计单元，用于获取所述图像信号；提取所述图像信号中各类通道的图像数据；对所述各类通道的图像数据分别进行统计，得到所述各类通道的统计数据；将所述各类通道的统计数据发送至所述曝光控制单元；

所述曝光控制单元，用于接收所述统计单元发送的所述各类通道的统计数据；针对任一类通道，根据该类通道的统计数据，计算该类通道对应的曝光参数，并基于该曝光参数，控制对该类通道的图像数据进行亮度调整。

可选的，所述图像传感器包括：响应可见光波段范围内的光分量的第一类通道，以及响应近红外光波段范围内的光分量的第二类通道。

可选的，所述第一类通道包括多个色彩通道，所述第二类通道包括近红外通道；

所述统计单元，具体用于：

根据所述多个色彩通道中至少一个色彩通道的图像数据，计算所述第一类通道的图像数据统计值作为所述第一类通道的统计数据；

根据所述近红外通道的图像数据，计算所述第二类通道的图像数据统计值作为所述第二类通道的统计数据。

可选的，所述统计单元，具体用于：

从所述图像信号中，提取各色彩通道的图像数据及所述近红外通道的图像数据；分别根据所述各色彩通道的图像数据和所述近红外通道的图像数据，计算所述各色彩通道的图像数据均值和所述近红外通道的图像数据均值；对所述各色彩通道的图像数据均值进行加权求和；将所述加权求和的结果作为所述第一类通道的统计数据，将所述近红外通道的图像数据均值作为所述第二类通道的统计数据；

或者，

将所述图像信号进行分块，得到多个图像信号块；针对任一图像信号块，从该图像信号块中提取各色彩通道的图像数据及所述近红外通道的图像数据；分别根据各图像信号块中所述各色彩通道的图像数据和所述近红外通道的图像数据，计算所述各色彩通道的图像数据均值和所述近红外通道的图像数据均值；对所述各色彩通道的图像数据均值进行加权求和；将所述加权求和的结果作为所述第一类通道的统计数据，将所述近红外通道的图像数据均值作为所述第二类通道的统计数据；

或者，

从所述图像信号中，提取各色彩通道的图像数据及所述近红外通道的图像数据；分别根据所述各色彩通道的图像数据和所述近红外通道的图像数据，得到所述各色彩通道的直方图和所述近红外通道的直方图；分别对所述各色彩通道的直方图和所述近红外通道的直方图中的灰阶数进行加权平均计算，得到所述各色彩通道的图像数据均值和所述近红外通道的图像数据均值；对所述各色彩通道的图像数据均值进行加权求和；将所述加权求和的结果作为所述第一类通道的统计数据，将所述近红外通道的图像数据均值作为所述第二类通道的统计数据。

可选的，所述系统还包括：滤光单元；

所述滤光单元，用于过滤掉输入的光信号中除指定波段范围中的光分量以外的其他光分量，并透射过滤后的所述光信号至所述图像传感器。

可选的，所述滤光单元包括切换装置；

所述切换装置，用于切换所述滤光单元的过滤状态；

所述滤光单元，用于在所述过滤状态为开启时，过滤掉输入的光信号中除指定波段范围内的光分量以外的其他光分量，并透射过滤后的所述光信号至所述图像传感器；在所述过滤状态为关闭时，透射所述光信号中的所有光分量至所述图像传感器。

可选的，所述系统还包括：补光单元；

所述补光单元，用于对场景进行近红外补光，以使输入的光信号包括近红外光。

可选的，所述图像传感器，包括响应近红外光波段范围内的光分量的第二类通道；

所述曝光控制单元，还用于根据所述第二类通道的统计数据，控制所述补光单元调整补光强度。

可选的，所述曝光控制单元，具体用于：

若所述第二类通道的统计数据大于第一预设阈值，则控制所述补光单元降低发射所述近红外光的强度；

若所述第二类通道的统计数据小于第二预设阈值，则控制所述补光单元提高发射所述近红外光的强度。

可选的，所述图像传感器还包括：响应可见光波段范围内的光分量的第一类通道；所述曝光控制单元，具体用于：

获取所述第一类通道的第一曝光时间、所述第一类通道对应的第一目标数据、所述第二类通道的第二曝光时间及所述第二类通道对应的第二目标数据；

根据所述第一类通道的统计数据及所述第一目标数据，计算所述第一类通道的第一数据偏移量，若所述第一数据偏移量不在第一预设范围内，则根据所述第一类通道的统计数据及所述第一目标数据，计算第一曝光增益；

根据所述第二类通道的统计数据及所述第二目标数据，计算所述第二类通道的第二数据偏移量，若所述第二数据偏移量不在第二预设范围内，则根据所述第二类通道的统计数据及所述第二目标数据，计算第二曝光增益；

若所述第一曝光时间与所述第二曝光时间相等，则在所述第二曝光增益小于第一预设增益阈值时，控制所述补光单元降低发射所述近红外光的强度，在所述第二曝光增益大于第二预设增益阈值时，控制所述补光单元提高发射所述近红外光的强度；

若所述第一曝光时间与所述第二曝光时间不相等，则在所述第二曝光增益小于所述第一预设增益阈值时，减小所述第二曝光时间，在所述第二曝光增益大于第二预设增益阈值时，增大所述第二曝光时间。

可选的，所述系统还包括：处理单元；

所述处理单元，用于获取所述图像传感器输出的图像信号、所述各类通道对应的当前曝光参数，以及所述各类通道之间的关联信息；根据所述各类通道对应的当前曝光参数及所述各类通道之间的关联信息，确定每两类通道之间的相关性；根据所述每两类通道之间的相关性，去除包含在一类通道中的另一类通道的光分量。

可选的，所述图像传感器包括：响应可见光波段范围内的光分量的第一类通道，以及响应近红外光波段范围内的光分量的第二类通道；

所述处理单元，具体用于：

获取所述图像传感器输出的图像信号、所述第一类通道和所述第二类通道对应的当前曝光参数，以及所述第一类通道的色彩和所述第二类通道的亮度之间的关联信息；或者，获取所述图像传感器输出的图像信号、所述第一类通道和所述第二类通道对应的当前曝光参数，以及所述第一类通道的亮度和所述第二类通道的亮度之间的关联信息；

根据所述第一类通道和所述第二类通道对应的当前曝光参数，将所述图像信号中所述第一类通道的图像数据和所述第二类通道的图像数据归一化至同一曝光参数下；

基于所述关联信息，确定所述第一类通道的权重和所述第二类通道的权重；

根据所述第一类通道的权重和所述第二类通道的权重，以及归一化后的所述第一类通道的图像数据和所述第二类通道的图像数据，去除包含在所述第一类通道中的所述第二类通道的光分量。

可选的，所述图像传感器包括：响应可见光波段范围内的光分量的第一类通道，以及响应近红外光波段范围内的光分量的第二类通道；

所述处理单元，具体用于：

获取所述图像传感器输出的图像信号、所述第一类通道和所述第二类通道对应的当前曝光参数，以及所述第一类通道的色彩和所述第二类通道的亮度之间的关联信息；或者，获取所述图像传感器输出的图像信号、所述第一类通道和所述第二类通道对应的当前曝光参数，以及所述第一类通道的亮度和所述第二类通道的亮度之间的关联信息；

根据所述第一类通道和所述第二类通道对应的当前曝光参数，以及所述关联信息，确定所述第一类通道的权重和所述第二类通道的权重；

根据所述第一类通道的权重和所述第二类通道的权重、所述第一类通道的图像数据及所述第二类通道的图像数据，去除包含在所述第一类通道中的所述第二类通道的光分量。

可选的，所述处理单元包括信号分解模块及后处理模块；

所述信号分解模块，用于获取图像信号，对所述图像信号的可见光信号和近红外光信号进行分解，输出分解后的第一分解图像信号和第二分解图像信号，所述第一分解图像信号为可见光图像信号，所述第二分解图像为近红外光图像信号；

所述后处理模块，用于获取所述第一分解图像信号、所述第二分解图像信号、所述第一类通道对应的第一当前曝光参数、所述第二类通道对应的第二当前曝光参数，以及所述第一类通道和所述第二类通道之间的关联信息；根据所述第一当前曝光参数、所述第二当前曝光参数及所述关联信息，确定所述第一类通道和所述第二类通道之间的相关性；根据所述相关性，确定第一输出图像信号和/或第二输出图像信号，所述第一输出图像信号为去除近红外光分量的所述第一分解图像信号。

可选的，所述信号分解模块，具体用于：

获取图像信号；分别对所述图像信号中可见光信号的各色彩分量和近红外光信号进行上采样，得到所述各色彩分量的图像信号以及近红外光的图像信号；将所述各色彩分量的图像信号进行组合，得到第一分解图像信号进行输出，并将所述近红外光的图像信号作为第二分解图像信号进行输出；

或者，

获取图像信号、所述第一类通道对应的第一当前曝光增益以及所述第二类通道对应的第二当前曝光增益；若所述第二当前曝光增益小于所述第一当前曝光增益，则根据所述图像信号中所述第二类通道的图像数据，对所述第一类通道的图像数据进行边缘判决插值，若所述第二当前曝光增益大于所述第一当前曝光增益，则根据所述图像信号中所述第一类通道的图像数据，对所述第二类通道的图像数据进行边缘判决插值；获得插值后的可见光信号的各色彩分量的图像信号以及近红外光的图像信号；将所述各色彩分量的图像信号进行组合，得到第一分解图像信号进行输出，并将所述近红外光的图像信号作为第二分解图像信号进行输出。

可选的，所述后处理模块，包括：第一处理子模块、第二处理子模块、色彩恢复子模块及第三处理子模块；

所述第一处理子模块，用于获取所述第一分解图像信号，对所述第一分解图像信号进行预处理，得到第一子处理图像信号；

所述第二处理子模块，用于获取所述第二分解图像信号，对所述第二分解图像信号进行预处理，得到第二子处理图像信号，所述预处理包括坏点校正、黑电平校正、数字增益、降噪中的至少一种处理方式；

所述色彩恢复子模块，用于获取所述第一类通道对应的第一当前曝光参数、所述第二类通道对应的第二当前曝光参数，以及所述第一类通道和所述第二类通道之间的关联信息；根据所述第一当前曝光参数及所述第二当前曝光参数，将所述第一子处理图像信号和所述第二子处理图像信号归一化至同一曝光参数下；基于所述关联信息，确定所述第一类通道的权重和所述第二类通道的权重；根据所述第一类通道的权重和所述第二类通道的权重，以及归一化后的所述第一子处理图像信号和所述第二子处理图像信号，得到第一恢复图像信号；

所述第三处理子模块，用于对所述第一恢复图像信号进行处理，得到第一输出图像信号。

可选的，所述后处理模块，包括：第一处理子模块、第二处理子模块、色彩恢复子模块及第四处理子模块；

所述第一处理子模块，用于获取所述第一分解图像信号，对所述第一分解图像信号进行预处理，得到第一子处理图像信号；

所述第二处理子模块，用于获取所述第二分解图像信号，对所述第二分解图像信号进行预处理，得到第二子处理图像信号，所述预处理包括坏点校正、黑电平校正、数字增益、降噪中的至少一种处理方式；

所述色彩恢复子模块，用于获取所述第一类通道对应的第一当前曝光参数、所述第二类通道对应的第二当前曝光参数，以及所述第一类通道和所述第二类通道之间的关联信息；根据所述第一当前曝光参数及所述第二当前曝光参数，将所述第一子处理图像信号和所述第二子处理图像信号归一化至同一曝光参数下；基于所述关联信息，确定所述第一类通道的权重和所述第二类通道的权重；根据所述第一类通道的权重和所述第二类通道的权重，以及归一化后的所述第一子处理图像信号和所述第二子处理图像信号，得到第二恢复图像信号；

所述第四处理子模块，用于对所述第二恢复图像信号进行处理，得到第二输出图像信号。

可选的，所述后处理模块，包括：第一处理子模块、第二处理子模块、色彩恢复子模块、第三处理子模块、第四处理子模块及第五处理子模块；

所述第一处理子模块，用于获取所述第一分解图像信号，对所述第一分解图像信号进行预处理，得到第一子处理图像信号；

所述第二处理子模块，用于获取所述第二分解图像信号，对所述第二分解图像信号进行预处理，得到第二子处理图像信号，所述预处理包括坏点校正、黑电平校正、数字增益、降噪中的至少一种处理方式；

所述色彩恢复子模块，用于获取所述第一类通道对应的第一当前曝光参数、所述第二类通道对应的第二当前曝光参数，以及所述第一类通道和所述第二类通道之间的关联信息；根据所述第一当前曝光参数及所述第二当前曝光参数，将所述第一子处理图像信号和所述第二子处理图像信号归一化至同一曝光参数下；基于所述关联信息，确定所述第一类通道的权重和所述第二类通道的权重；根据所述第一类通道的权重和所述第二类通道的权重，以及归一化后的所述第一子处理图像信号和所述第二子处理图像信号，得到第一恢复图像信号和第二恢复图像信号；

所述第三处理子模块，用于对所述第一恢复图像信号进行处理，得到第三子处理图像信号；

所述第四处理子模块，用于对所述第二恢复图像信号进行处理，得到第四子处理图像信号；

所述第五处理子模块，用于对所述第三子处理图像信号和所述第四子处理图像信号进行处理，得到第一输出图像信号。

可选的，所述后处理模块，包括：第一处理子模块、第二处理子模块、色彩恢复子模块、第三处理子模块、第四处理子模块及第五处理子模块；

所述第一处理子模块，用于获取所述第一分解图像信号，对所述第一分解图像信号进行预处理，得到第一子处理图像信号；

所述第二处理子模块，用于获取所述第二分解图像信号，对所述第二分解图像信号进行预处理，得到第二子处理图像信号，所述预处理包括坏点校正、黑电平校正、数字增益、降噪中的至少一种处理方式；

所述色彩恢复子模块，用于获取所述第一类通道对应的第一当前曝光参数、所述第二类通道对应的第二当前曝光参数，以及所述第一类通道和所述第二类通道之间的关联信息；根据所述第一当前曝光参数及所述第二当前曝光参数，将所述第一子处理图像信号和所述第二子处理图像信号归一化至同一曝光参数下；基于所述关联信息，确定所述第一类通道的权重和所述第二类通道的权重；根据所述第一类通道的权重和所述第二类通道的权重，以及归一化后的所述第一子处理图像信号和所述第二子处理图像信号，得到第一恢复图像信号和第二恢复图像信号；

所述第三处理子模块，用于对所述第一恢复图像信号进行处理，得到第三子处理图像信号；

所述第四处理子模块，用于对所述第二恢复图像信号进行处理，得到第四子处理图像信号；

所述第五处理子模块，用于对所述第三子处理图像信号和所述第四子处理图像信号进行处理，得到第一输出图像信号和第二输出图像信号。

可选的，所述处理单元还包括预处理模块；

所述预处理模块，用于获取所述图像传感器输出的图像信号，对所述图像信号进行预处理，将预处理后的所述图像信号发送至所述信号分解模块。

可选的，所述处理单元，还用于将已去除其他类通道的光分量的各类通道的图像数据进行融合，得到融合后的图像信号。

第二方面，本申请实施例提供了一种图像处理方法，应用于成像系统，所述系统包括：图像传感器、统计单元和曝光控制单元；所述图像传感器包括多类通道；所述方法包括：

所述图像传感器将光信号转换为图像信号，所述光信号包括多种波段范围内的光分量；

所述统计单元获取所述图像信号，提取所述图像信号中各类通道的图像数据，对所述各类通道的图像数据分别进行统计，得到所述各类通道的统计数据，并将所述各类通道的统计数据发送至所述曝光控制单元；

所述曝光控制单元接收所述统计单元发送的所述各类通道的统计数据，针对任一类通道，根据该类通道的统计数据，计算该类通道对应的曝光参数，并基于该曝光参数，控制对该类通道的图像数据进行亮度调整。

可选的，所述图像传感器包括：响应可见光波段范围内的光分量的第一类通道，以及响应近红外光波段范围内的光分量的第二类通道，所述第一类通道包括多个色彩通道，所述第二类通道包括近红外通道；

所述统计单元对所述各类通道的图像数据分别进行统计，得到所述各类通道的统计数据，包括：

根据所述多个色彩通道中至少一个色彩通道的图像数据，计算所述第一类通道的图像数据统计值作为所述第一类通道的统计数据；

根据所述近红外通道的图像数据，计算所述第二类通道的图像数据统计值作为所述第二类通道的统计数据。

可选的，所述系统还包括：补光单元；所述图像传感器，包括响应近红外光波段范围内的光分量的第二类通道；

所述方法还包括：

若所述第二类通道的统计数据大于第一预设阈值，则控制所述补光单元降低发射所述近红外光的强度；

若所述第二类通道的统计数据小于第二预设阈值，则控制所述补光单元提高发射所述近红外光的强度。

可选的，所述系统还包括：处理单元；

在所述图像传感器将光信号转换为图像信号之后，所述方法还包括：

所述处理单元获取所述图像传感器输出的图像信号、所述各类通道对应的当前曝光参数以及所述各类通道之间的关联信息，根据所述各类通道对应的当前曝光参数及所述各类通道之间的关联信息，确定每两类通道之间的相关性，根据所述每两类通道之间的相关性，去除包含在一类通道中的另一类通道的光分量。

本申请实施例提供的一种成像系统及图像处理方法，成像系统包括：图像传感器、统计单元和曝光控制单元。其中，统计单元，用于获取图像传感器对光信号转换得到的图像信号，提取图像信号中各类通道的图像数据，对各类通道的图像数据分别进行统计，得到各类通道的统计数据，将各类通道的统计数据发送至曝光控制单元；曝光控制单元，用于接收统计单元发送的各类通道的统计数据；针对任一类通道，根据该类通道的统计数据，计算该类通道对应的曝光参数，并基于该曝光参数，控制对该类通道的图像数据进行亮度调整。

在本申请实施例中，成像系统中新增统计单元和曝光控制单元，统计单元对每一类通道的图像数据分别进行统计，曝光控制单元根据一类通道的统计数据计算出这类通道对应的曝光参数，并基于计算出的曝光参数，控制对该类通道的图像数据进行亮度调整，针对不同类通道所响应的光分量的能量不同的实际情况，对一类通道的图像数据进行独立曝光，使得一类通道的图像数据的亮度控制在合适的亮度范围内，从而提高了最终的成像效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例的成像系统的结构示意图；

图2a为本申请一实施例的图像传感器排列方式示意图；

图2b为本申请另一实施例的图像传感器排列方式示意图；

图2c为本申请再一实施例的图像传感器排列方式示意图；

图3为本申请实施例的rgb通道和nir通道的光谱响应曲线的示意图；

图4为本申请实施例的w通道的光谱响应曲线的示意图；

图5为本申请另一实施例的成像系统的结构示意图；

图6为本申请实施例的滤光单元的光谱通过率曲线的示意图；

图7为本申请再一实施例的成像系统的结构示意图；

图8为本申请又一实施例的成像系统的结构示意图；

图9为本申请实施例的850nm近红外能量分布曲线的示意图；

图10为本申请实施例的曝光增益调整的流程示意图；

图11为本申请又一实施例的成像系统的结构示意图；

图12为本申请一实施例的处理单元的实现流程示意图；

图13为本申请一实施例的后处理模块的实现流程示意图；

图14为本申请另一实施例的后处理模块的实现流程示意图；

图15为本申请再一实施例的后处理模块的实现流程示意图；

图16为本申请另一实施例的处理单元的实现流程示意图；

图17为本申请又一实施例的后处理模块的实现流程示意图；

图18为本申请再一实施例的处理单元的实现流程示意图；

图19为本申请又一实施例的处理单元的实现流程示意图；

图20为本申请实施例的图像处理方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了提高成像系统的成像效果，本申请实施例提供了一种成像系统及图像处理方法。

本申请实施例提供了一种成像系统，如图1所示，该成像系统包括图像传感器11、统计单元12和曝光控制单元13。图像传感器11包括多类通道，通道用于对通过的光分量进行响应，得到图像信号中的一个像素。

其中，图像传感器11，用于将光信号转换为图像信号，光信号包括多种波段范围内的光分量；统计单元12，用于获取图像信号，提取图像信号中各类通道的图像数据，对各类通道的图像数据分别进行统计，得到各类通道的统计数据，将各类通道的统计数据发送至曝光控制单元13；曝光控制单元13，用于接收统计单元12发送的各类通道的统计数据，针对任一类通道，根据该类通道的统计数据，计算该类通道对应的曝光参数，并基于该曝光参数，控制对该类通道的图像数据进行亮度调整。

应用本申请实施例，统计单元对每一类通道的图像数据分别进行统计，曝光控制单元根据一类通道的统计数据计算出这类通道对应的曝光参数，并基于计算出的曝光参数，控制对该类通道的图像数据进行亮度调整，针对不同类通道所响应的光分量的能量不同的实际情况，对一类通道进行独立曝光，使得一类通道的亮度控制在合适的亮度范围内，从而提高了最终的成像效果。

本申请实施例提供的成像系统可以是图像拍摄系统(例如数码相机、便携式摄像机、监控相机等)，成像系统还可以是安装在计算机、多媒体播放器、手机等设备上的成像模块。

图像传感器11包括多类通道，每一类通道用于响应不同波段范围内的光分量。在一种实现方式中，图像传感器11可以包括：响应可见光波段范围内的光分量的第一类通道，以及响应近红外光波段范围内的光分量的第二类通道。

该实现方式中，图像传感器11为rgb-ir传感器，具体包括两类通道，即第一类通道为rgb通道，第二类通道为nir通道。通过各类通道得到如图2a、图2b或者图2c所示的图像传感器排列方式，其中，在像素阵列中多个像素被形成。图2a中r(红色)通道和b(蓝色)通道分别占总像素数的1/8、nir通道占总像素数的1/4、g(绿色)通道占总像素数的1/2；图2b中r通道和b通道分别占总像素数的1/8、g通道占总像素数的1/4、nir通道占总像素数的1/2；图2c中r通道和b通道分别占总像素数的3/16、g通道占总像素数的3/8、nir通道占总像素数的1/4。

其中，每个通道的光谱响应如图3所示，为了保证第一类通道响应可见光分量、第二类通道响应近红外光分量，第一类通道的光分量在400nm～700nm的波段范围内的相对响应不低于在700nm～1000nm的波段范围内的相对响应；在800nm～1000nm的波段范围内，第二类通道的光分量的相对响应不低于第一类通道的光分量的相对响应。

第二类通道除了可以是nir通道以外，还可以是w(white，白色)通道，w通道是一种可以响应可见光波段范围内的光分量和近红外光波段范围内的光分量的通道。w通道的光谱响应如图4所示，w通道的光分量在400nm～1000nm的波段范围内全部响应。

在图像传感器11的输入侧设置有镜头(图1中未示出)，用于接收目标物体反射的光信号。其中光信号包括可见光分量和近红外光分量等，且镜头能够使可见光分量和近红外光分量满足共焦要求。

本申请实施例中，统计单元12是用于进行图像数据统计的传感器，例如rgbirsensor，在统计图像数据时，主要是对图像数据进行亮度统计，每类通道的图像数据即为该类通道在像素阵列中相应位置的像素值，像素值能够体现像素亮度，因此，在进行统计时，可以直接对一类通道中的像素值进行统计，得到统计亮度即为该类通道的统计数据。

在一种实现方式中，第一类通道包括多个色彩通道，第二类通道包括近红外通道。

相应的，统计单元12，具体可以用于：根据多个色彩通道中至少一个色彩通道的图像数据，计算第一类通道的图像数据统计值作为第一类通道的统计数据；根据近红外通道的图像数据，计算第二类通道的图像数据统计值作为第二类通道的统计数据。

第一类通道为色彩通道，具体包含红色通道、绿色通道和蓝色通道，或者包含红色通道、黄色通道和蓝色通道，需要对各色彩通道的图像数据进行统计，将计算出的第一类通道的图像数据统计值(例如图像数据均值、图像数据和值等)作为第一类通道的统计数据，也可以是计算红色通道或者绿色通道的图像数据均值作为第一类通道的统计数据。第二类通道为近红外通道，对近红外通道的图像数据进行统计，将计算出的第二类通道的图像数据统计值作为第二类通道的统计数据。

可选的，统计单元12，具体可以用于：

从图像信号中，提取各色彩通道的图像数据及近红外通道的图像数据；分别根据各色彩通道的图像数据和近红外通道的图像数据，计算各色彩通道的图像数据均值和近红外通道的图像数据均值；对各色彩通道的图像数据均值进行加权求和；将加权求和的结果作为第一类通道的统计数据，将近红外通道的图像数据均值作为第二类通道的统计数据；

或者，

将图像信号进行分块，得到多个图像信号块；针对任一图像信号块，从该图像信号块中提取各色彩通道的图像数据及近红外通道的图像数据；分别根据各图像信号块中各色彩通道的图像数据和近红外通道的图像数据，计算各色彩通道的图像数据均值和近红外通道的图像数据均值；对各色彩通道的图像数据均值进行加权求和；将加权求和的结果作为第一类通道的统计数据，将近红外通道的图像数据均值作为第二类通道的统计数据；

或者，

从图像信号中，提取各色彩通道的图像数据及近红外通道的图像数据；分别根据各色彩通道的图像数据和近红外通道的图像数据，得到各色彩通道的直方图和近红外通道的直方图；分别对各色彩通道的直方图和近红外通道的直方图中的灰阶数进行加权平均计算，得到各色彩通道的图像数据均值和近红外通道的图像数据均值；对各色彩通道的图像数据均值进行加权求和；将加权求和的结果作为第一类通道的统计数据，将近红外通道的图像数据均值作为第二类通道的统计数据。

数据统计包括全局统计、分块统计和直方图统计三种统计方式，下面，以rgbirsensor为例，分别对这三种统计方式进行介绍。

全局统计：对r通道、g通道、b通道、nir通道分别计算图像数据均值，分别得到r通道的图像数据均值rave、g通道的图像数据均值gave、b通道的图像数据均值bave、nir通道的图像数据均值nirave。将rave、gave和bave按一定权重加权，得到y＝kr*rave+kg*gave+kb*bave，其中，kr为r通道权重、kg为g通道权重、kb为b通道权重，且kr+kg+kb＝1。y即为第一类通道的统计数据，nirave即为第二类通道的统计数据。

分块统计：将图像信号进行分块，分别对每个分块的r通道、g通道、b通道、nir通道计算图像数据均值，得到r通道的图像数据均值rijave、g通道的图像数据均值gijave、b通道的图像数据均值bijave、nir通道的图像数据均值nirijave(i、j表示分块的坐标，0<i<m,0<j<n，m、n为垂直和水平方向的分块数)；每个通道的所有块进行加权平均，得到r通道的图像数据均值g通道的图像数据均值b通道的图像数据均值nir通道的图像数据均值再将rave、gave和bave按一定权重加权，得到y＝kr*rave+kg*gave+kb*bave，其中，kr为r通道权重、kg为g通道权重、kb为b通道权重，且kr+kg+kb＝1。y即为第一类通道的统计数据，nirave即为第二类通道的统计数据。

直方图统计：首先需要考虑r通道、g通道和b通道输入数据的位数，若超过或不足8位，则需要将输入数据转为8位，然后对r通道、g通道、b通道、nir通道分别计算直方图，得到rhist、ghist、bhist、nirhist；直方图的灰阶数为256；对每个通道的直方图根据灰阶数进行加权平均如下式：

其中，w(n)为每个灰阶的权重。再将rave、gave和bave按一定权重加权，得到y＝kr*rave+kg*gave+kb*bave，其中，kr为r通道权重、kg为g通道权重、kb为b通道权重，且kr+kg+kb＝1。y即为第一类通道的统计数据，nirave即为第二类通道的统计数据。

本申请实施例中，曝光控制单元13接收统计单元12发送的各类通道的统计数据，根据各类通道的统计数据，计算得到各类通道对应的曝光参数，曝光参数可以包括曝光时间、模拟增益、数字增益等，曝光参数还可以包括镜头的光圈，在本申请实施例中，光圈可以认为在某种条件下固定大小。在得到各类通道对应的曝光参数后，基于曝光参数，控制对相应通道的图像数据进行亮度调整。具体的，曝光控制单元13在控制对相应通道的图像数据进行亮度调整时，可以是将曝光参数发送至图像传感器，由图像传感器将曝光参数作用于各类通道，对各类通道进行亮度调整，使得各类通道的图像数据的亮度在预设亮度范围内；也可以是将曝光参数发送至图像处理单元，由图像处理单元基于曝光参数直接对图像传感器输出的相应通道的图像数据进行调整，使得各类通道的图像数据的亮度在预设亮度范围内。针对不同通道的图像数据可以设置不同的预设亮度范围，也可以设置相同的预设亮度范围，这里不做具体限定。在对每类通道的图像数据都进行亮度调整后，可以使得最终输出的图像信号符合亮度范围。

在计算得到曝光参数后，基于曝光参数控制进行亮度调整的方式，主要将曝光参数发送给图像传感器或者图像处理单元，控制图像传感器或者图像处理单元调整曝光时间、曝光增益等方式实现，具体的调整方式为常规的曝光调整方式，这里不做具体限定。

基于图1所示实施例，本申请实施例还提供了一种成像系统，如图5所示，该成像系统包括图像传感器11、统计单元12、曝光控制单元13和滤光单元14。图像传感器11包括多类通道，通道用于对通过的光分量进行响应，得到图像信号中的一个像素。

其中，滤光单元14，用于过滤掉输入的光信号中除指定波段范围中的光分量以外的其他光分量，并透射过滤后的光信号至图像传感器11；图像传感器11，用于将光信号转换为图像信号，光信号包括多种波段范围内的光分量；统计单元12，用于获取图像信号，提取图像信号中各类通道的图像数据，对各类通道的图像数据分别进行统计，得到各类通道的统计数据，将各类通道的统计数据发送至曝光控制单元13；曝光控制单元13，用于接收统计单元12发送的各类通道的统计数据，针对任一类通道，根据该类通道的统计数据，计算该类通道对应的曝光参数，并基于该曝光参数，控制对该类通道的图像数据进行亮度调整。

应用本申请实施例，统计单元对每一类通道的图像数据分别进行统计，曝光控制单元根据一类通道的统计数据计算出这类通道对应的曝光参数，并基于计算出的曝光参数，控制对该类通道的图像数据进行亮度调整，针对不同类通道所响应的光分量的能量不同的实际情况，对一类通道进行独立曝光，使得一类通道的图像数据的亮度控制在合适的亮度范围内，从而提高了最终的成像效果。并且，通过在图像传感器的前端增加滤光单元，将输入的光信号进行过滤，能够使指定波段范围中的光分量通过，摄入到图像传感器，过滤掉其他波段范围内的光分量。

滤光单元14能够使指定波段范围内的近红外光和可见光的光分量通过，而过滤掉其他波段范围内的光分量。滤光单元14可以是单片滤光片，即通过镀膜等技术将光波中的某一频段进行滤除的光学装置，如图6所示的滤光单元的光谱通过率曲线，采用滤光片，将指定波段范围内的近红外光以及可见光以外的其他近红外光滤除。为了滤光单元能够使指定波段范围内的近红外光和可见光的光分量通过，可以设置在650nm～1000nm的近红外光波段范围中，通过的波段宽度小于过滤掉的波段宽度之和；在650nm～1000nm的近红外光波段范围中，通过率大于30％的波段宽度小于100nm。在滤光单元14近红外光通过波段的范围内，图像传感器的rgb通道的光分量的相对响应低于0.3。

基于图6可以识别出在一定的通过率(例如20％)下，对应近红外光的第一波段宽度，并且，基于图3可以识别出该段近红外光所对应的响应强度下的彩色光的第二波段宽度，第一波段宽度应小于或者等于第二波段宽度，如果不满足该条件，则可以通过重新选择不同镀膜技术的滤波单元，以达到第一波段宽度应小于或者等于第二波段宽度的目的。通过这样的选择，可以使得彩色光中近红外光分量较少，更有利于成像效果的提升。

可选的，滤光单元可以包括切换装置。其中，切换装置，用于切换滤光单元14的过滤状态。

滤光单元14，可以用于在过滤状态为开启时，过滤掉输入的光信号中除指定波段范围内的光分量以外的其他光分量，并透射过滤后的光信号至图像传感器11；在过滤状态为关闭时，透射光信号中的所有光分量至图像传感器11。

滤光单元14可以具有切换装置，用于对滤光单元14的过来状态进行切换。当切换装置将滤光单元14的过滤状态切换为开启时，滤光单元14会过滤掉输入的光信号中除指定波段范围内的光分量以外的其他光分量，并透射过滤后的光信号至图像传感器11，只通过指定波段范围内的光分量透射至图像传感器11；当切换装置将滤光单元14的过滤状态切换为关闭时，透射光信号中的所有光分量至图像传感器11。在一种情况下，滤光单元14的过滤状态切换为开启时，滤光单元14可以过滤掉输入的光信号中除可见光和部分近红外光以外的其他光分量，并透射过滤后的光信号至图像传感器11，只通过可见光和部分近红外光的光分量透射至图像传感器11；滤光单元14也可以过滤掉输入的光信号中除可见光以外的其他光分量，并透射过滤后的光信号至图像传感器11，只通过可见光的光分量透射至图像传感器11。

基于图1所示实施例，本申请实施例还提供了一种成像系统，如图7所示，该成像系统包括图像传感器11、统计单元12、曝光控制单元13和补光单元15。图像传感器11包括多类通道，通道用于对通过的光分量进行响应，得到图像信号中的一个像素。

其中，补光单元15，用于对场景进行近红外补光，以使输入的光信号包括近红外光；图像传感器11，用于将光信号转换为图像信号，光信号包括多种波段范围内的光分量；统计单元12，用于获取图像信号，提取图像信号中各类通道的图像数据，对各类通道的图像数据分别进行统计，得到各类通道的统计数据，将各类通道的统计数据发送至曝光控制单元13；曝光控制单元13，用于接收统计单元12发送的各类通道的统计数据，针对任一类通道，根据该类通道的统计数据，计算该类通道对应的曝光参数，并基于该曝光参数，控制对该类通道的图像数据进行亮度调整。

应用本申请实施例，统计单元对每一类通道的图像数据分别进行统计，曝光控制单元根据一类通道的统计数据计算出这类通道对应的曝光参数，并基于计算出的曝光参数，控制对该类通道的图像数据进行亮度调整，针对不同类通道所响应的光分量的能量不同的实际情况，对一类通道进行独立曝光，使得一类通道的图像数据的亮度控制在合适的亮度范围内，从而提高了最终的成像效果。并且，通过增加补光单元，增加光信号中的近红外光分量，使得近红外光通道的亮度增加，便于提高近红外光成像。

在另一种实施方式中，如图8所示，该成像系统包括图像传感器11、统计单元12、曝光控制单元13、滤光单元14和补光单元15。图像传感器11包括多类通道，通道用于对通过的光分量进行响应，得到图像信号中的一个像素。

其中，补光单元15，用于对场景进行近红外补光，以使输入的光信号包括近红外光；滤光单元14，用于过滤掉输入的光信号中除指定波段范围中的光分量以外的其他光分量，并透射过滤后的光信号至图像传感器11，其中，指定波段范围中的光分量包括补光单元发射的近红外光；图像传感器11，用于将光信号转换为图像信号，光信号包括多种波段范围内的光分量；统计单元12，用于获取图像信号，提取图像信号中各类通道的图像数据，对各类通道的图像数据分别进行统计，得到各类通道的统计数据，将各类通道的统计数据发送至曝光控制单元13；曝光控制单元13，用于接收统计单元12发送的各类通道的统计数据，针对任一类通道，根据该类通道的统计数据，计算该类通道对应的曝光参数，并基于该曝光参数，控制对该类通道的图像数据进行亮度调整。

补光单元15用于近红外补光，当然也可以同时产生可见光补光。补光单元15产生的近红外补光的能量分布在650nm～1000nm的范围内，具体的，能量集中在750nm～900nm的范围内，或者900nm～1000nm的范围内。为了保证滤光单元14可以通过补光单元15的近红外补光，要求补光单元15的近红外补光的能量分布范围不小于滤光单元14预先设置的近红外光通过范围。

本申请实施例中，采用近红外光波段的补光器材进行补光。具体的，可以采用850nm的红外灯作为补光单元15，也可以采用750nm、780nm、850nm、860nm、940nm的红外灯作为补光单元15，以850nm红外灯为例，其能量分布曲线如图9所示，能量分布主要集中在830nm～880nm范围内。

可选的，图像传感器11，可以包括响应近红外光波段范围内的光分量的第二类通道。曝光控制单元13，还可以用于根据第二类通道的统计数据，控制补光单元15调整补光强度。

曝光控制单元13除了可以控制对各类通道的图像数据进行亮度调整之外，还可以控制补光单元15调整补光强度，经过对补光强度的调整，可以使第二类通道的图像数据符合预定亮度范围。

可选的，曝光控制单元13，具体可以用于：若第二类通道的统计数据大于第一预设阈值，则控制补光单元15降低发射近红外光的强度；若第二类通道的统计数据小于第二预设阈值，则控制补光单元15提高发射近红外光的强度。

曝光控制单元13控制补光单元15调整补光强度的方式，具体是判断第二类通道的统计数据是否大于第一预设阈值，第二类通道的统计数据可以是第二类通道的图像数据的亮度统计结果，相应的第一预设阈值是最大亮度阈值，如果统计数据大于第一预设阈值，则说明第二类通道的亮度太高，需要降低，则会控制补光单元15降低发射近红外光的强度。相应的第二预设阈值时最小亮度阈值，如果统计数据小于第二预设阈值，则说明第二类通道的亮度太低，需要提高，则会控制补光单元15提高发射近红外光的强度。

在本申请实施例的一种可实现方式中，曝光控制单元13控制补光单元15调整补光强度可以在曝光控制单元13控制对各类通道的图像数据进行亮度调整之后，即如果曝光控制单元13控制对各类通道的图像数据进行亮度调整之后，成像效果仍然较差(图像太暗或者太亮)，则此时，曝光控制单元13可以控制补光单元15调整补光强度，以使得图像的亮度符合预定亮度范围。

可选的，图像传感器还可以包括：响应可见光波段范围内的光分量的第一类通道；曝光控制单元13，具体可以用于：

获取第一类通道的第一曝光时间、第一类通道对应的第一目标数据、第二类通道的第二曝光时间及第二类通道对应的第二目标数据；根据第一类通道的统计数据及第一目标数据，计算第一类通道的第一数据偏移量，若第一数据偏移量不在第一预设范围内，则根据第一类通道的统计数据及第一目标数据，计算第一曝光增益；根据第二类通道的统计数据及第二目标数据，计算第二类通道的第二数据偏移量，若第二数据偏移量不在第二预设范围内，则根据第二类通道的统计数据及第二目标数据，计算第二曝光增益；若第一曝光时间与第二曝光时间相等，则在第二曝光增益小于第一预设增益阈值时，控制补光单元降低发射近红外光的强度，在第二曝光增益大于第二预设增益阈值时，控制补光单元提高发射近红外光的强度；若第一曝光时间与第二曝光时间不相等，则在第二曝光增益小于第一预设增益阈值时，减小第二曝光时间，在第二曝光增益大于第二预设增益阈值时，增大第二曝光时间。

如图10所示，假设曝光时间为固定时间，例如40ms或10ms，第一类通道的曝光时间为t1、增益为gain1，第二类通道的曝光时间为t2、增益为gain2。计算gain1和gain2的步骤包括：第一步，根据通道的统计数据和目标数据，计算数据偏移量，即ydelta＝|ycurrent-ytarget|；第二步，判断数据偏移量是否在预设范围内，若否则执行第三步；第三步，根据通道的统计数据和目标数据，计算更新的曝光增益，即gain＝ytarget/ycurrent。然后将计算得到的更新的曝光增益和设定的曝光时间发送至图像传感器，图像传感器识别到t1与t2相等，当gain2小于第一预设增益阈值时，可以控制补光单元降低发射近红外光的强度实现补光强度的调整，识别到t1和t2不同，当gain2小于预设最小值时，可以通过缩小t2实现通道的图像数据的亮度调整。

基于图1所示实施例，本申请实施例还提供了一种成像系统，如图11所示，该成像系统包括图像传感器11、统计单元12、曝光控制单元13和处理单元16。图像传感器11包括多类通道，通道用于对通过的光分量进行响应，得到图像信号中的一个像素。

其中，图像传感器11，用于将光信号转换为图像信号，光信号包括多种波段范围内的光分量；处理单元16，用于获取图像传感器11输出的图像信号、各类通道对应的当前曝光参数以及各类通道之间的关联信息，根据各类通道对应的当前曝光参数及各类通道之间的关联信息，确定每两类通道之间的相关性，根据每两类通道之间的相关性，去除包含在一类通道中的另一类通道的光分量；统计单元12，用于获取图像信号，提取图像信号中各类通道的图像数据，对各类通道的图像数据分别进行统计，得到各类通道的统计数据，将各类通道的统计数据发送至曝光控制单元13；曝光控制单元13，用于接收统计单元12发送的各类通道的统计数据，针对任一类通道，根据该类通道的统计数据，计算该类通道对应的曝光参数，并基于该曝光参数，控制对该类通道的图像数据进行亮度调整。

应用本申请实施例，统计单元对每一类通道的图像数据分别进行统计，曝光控制单元根据一类通道的统计数据计算出这类通道对应的曝光参数，并基于计算出的曝光参数，控制对该类通道的图像数据进行亮度调整，针对不同类通道所响应的光分量的能量不同的实际情况，对一类通道进行独立曝光，使得一类通道的图像数据的亮度控制在合适的亮度范围内，从而提高了最终的成像效果。并且，处理单元通过分析每两类通道之间的相关性，去除包含在一类通道中的另一类通道的光分量，相关性与曝光参数相关，有利于获得更准确的色彩信息。

处理单元16是一个包含图像处理算法或程序的逻辑平台，该平台可以是cpu(centralprocessingunit，中央处理器)、np(networkprocessor，网络处理器)等；还可以是dsp(digitalsignalprocessor，数字信号处理器)、asic(applicationspecificintegratedcircuit，专用集成电路)、fpga(field-programmablegatearray，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理单元16在从图像传感器11获取到图像信号后，将图像信号处理得到各类通道的图像数据，并且可以获取到各类通道对应的当前曝光参数(可以包括曝光时间、曝光增益等)，根据各类通道对应的当前曝光参数及各类通道之间的关联信息，可以确定出每两类通道之间的相关性，其中，关联信息是指一个通道的某一个图像属性对另一个通道的某一个图像属性的影响，例如，nir通道的亮度与rgb通道的色彩的影响，相关性表示了图像属性关联信息的程度和大小，图像属性关联信息可以是处理单元在获取到图像信号后分析得到的，也可以图像传感器预先根据图像信号分析好发送给处理单元的。根据每两类通道之间的相关性，可以明确知道两个通道之间图像数据相互影响的大小和程度，因此，根据每两类通道之间的相关性，可以去除包含在一类通道中的另一类通道的光分量，从而还原出一类通道的原始信号。具体在实现时，可以是通过使用系数矩阵对多类通道的图像数据进行加权处理实现，其中，系数矩阵可以是一个预先标定好的矩阵。

可选的，图像传感器11可以包括：响应可见光波段范围内的光分量的第一类通道，以及响应近红外光波段范围内的光分量的第二类通道。

处理单元16，具体可以用于：获取图像传感器输出的图像信号、第一类通道和第二类通道对应的当前曝光参数，以及第一类通道的色彩和第二类通道的亮度之间的关联信息，或者，获取图像传感器输出的图像信号、第一类通道和第二类通道对应的当前曝光参数，以及第一类通道的亮度和第二类通道的亮度之间的关联信息；根据第一类通道和第二类通道对应的当前曝光参数，将图像信号中第一类通道的图像数据和第二类通道的图像数据归一化至同一曝光参数下；基于关联信息，确定第一类通道的权重和第二类通道的权重；根据第一类通道的权重和第二类通道的权重，以及归一化后的第一类通道的图像数据和第二类通道的图像数据，去除包含在第一类通道中的第二类通道的光分量。

针对于图像传感器11包括第一类通道和第二类通道的场景，可以先根据第一类通道和第二类通道的当前曝光参数，将图像信号中第一类通道的图像数据和第二类通道的图像数据归一化至同一曝光参数下，从而在逻辑上获得相同曝光参数下的第一类通道的图像数据和第二类通道的图像数据，基于第一类通道的色彩和第二类通道的亮度之间的关联信息，确定第一类通道的权重和第二类通道的权重，第一类通道的权重和第二类通道的权重可以组成一个系数矩阵，该系数矩阵可以是根据关联信息标定的3*4矩阵。利用第一类通道的权重和第二类通道的权重以及归一化后的第一类通道的图像数据和第二类通道的图像数据，则可去除包含在第一类通道中的第二类通道的光分量。上述归一化过程也可以通过调整前述系数矩阵实现，这里不再赘述。第一类通道的色彩和第二类通道的亮度之间的关联信息，具体可以是通过预先分析第一类通道中各色彩通道的亮度和第二类通道的亮度之间的关联信息得到，当然关联信息也可以直接采用第一类通道中各色彩通道的亮度和第二类通道的亮度之间的关联信息。

可选的，图像传感器11可以包括：响应可见光波段范围内的光分量的第一类通道，以及响应近红外光波段范围内的光分量的第二类通道。

处理单元16，具体可以用于：获取图像传感器输出的图像信号、第一类通道和第二类通道对应的当前曝光参数，以及第一类通道的色彩和第二类通道的亮度之间的关联信息，或者，获取图像传感器输出的图像信号、第一类通道和第二类通道对应的当前曝光参数，以及第一类通道的亮度和第二类通道的亮度之间的关联信息；根据第一类通道和第二类通道对应的当前曝光参数，以及关联信息，确定第一类通道的权重和第二类通道的权重；根据第一类通道的权重和第二类通道的权重、第一类通道的图像数据及第二类通道的图像数据，去除包含在第一类通道中的第二类通道的光分量。

针对于图像传感器11包括第一类通道和第二类通道的场景，还可以根据第一类通道和第二类通道的当前曝光参数和预先分析得到的第一类通道的色彩和第二类通道的亮度之间的关联信息，确定第一类通道的权重和第二类通道的权重，第一类通道的权重和第二类通道的权重可以组成一个系数矩阵，该系数矩阵可以是根据关联信息标定的3*4矩阵。利用第一类通道的权重和第二类通道的权重以及第一类通道的图像数据和第二类通道的图像数据，则可去除包含在第一类通道中的第二类通道的光分量。确定出的第一类通道的权重和第二类通道的权重与当前曝光参数相关，有利用获得更准确的色彩信息。

在后续应用时，一般更关心图像信号中的彩色分量，因此，上述实施例仅给出了去除包含在第一类通道中的第二类通道的光分量的实施方式。而为了更好的成像效果，也可以按照上述方式去除包含在第二类通道中的第一类通道的光分量，然后再进行通道融合得到融合的图像信号。

可选的，处理单元16，还可以用于将已去除其他类通道的光分量的各类通道的图像数据进行融合，得到融合后的图像信号。

处理单元16在对各类通道进行光分量消除后，可以将各类通道的图像数据进行融合，能够增强彩色信号、提升低照度下融合后的图像数据的质量。在得到融合后的图像信号后，可以将该图像信号发送给统计单元12，由统计单元12进行图像数据的统计，给曝光控制单元13的曝光控制提供依据，也可以直接输出给用户。

本申请实施例中，还可以对第一类通道和第二类通道的图像数据进行联合降噪，具体的联合降噪方式可以是，利用第二类通道的图像数据对第一类通道的图像数据进行引导，降低噪声的同时减少有效信息损失。

可选的，处理单元包括信号分解模块及后处理模块；

信号分解模块，用于获取图像信号，对图像信号的可见光信号和近红外光信号进行分解，输出分解后的第一分解图像信号和第二分解图像信号，其中，第一分解图像信号为可见光图像信号，第二分解图像为近红外光图像信号；

后处理模块，用于获取第一分解图像信号、第二分解图像信号、第一类通道对应的第一当前曝光参数、第二类通道对应的第二当前曝光参数，以及第一类通道和第二类通道之间的关联信息；根据第一当前曝光参数、第二当前曝光参数及关联信息，确定第一类通道和第二类通道之间的相关性；根据相关性，确定第一输出图像信号和/或第二输出图像信号，其中，第一输出图像信号为去除近红外光分量的所述第一分解图像信号。第二输出图像信号可以为去除可见光分量的第二分解图像信号，也可以为未去除可见光分量的第二分解图像信号。

可选的，信号分解模块，具体可以用于：

获取图像信号；分别对图像信号中可见光信号的各色彩分量和近红外光信号进行上采样，得到各色彩分量的图像信号以及近红外光的图像信号；将各色彩分量的图像信号进行组合，得到第一分解图像信号进行输出，并将近红外光的图像信号作为第二分解图像信号进行输出；

或者，

获取图像信号、第一类通道对应的第一当前曝光增益以及第二类通道对应的第二当前曝光增益；若第二当前曝光增益小于第一当前曝光增益，则根据图像信号中第二类通道的图像数据，对第一类通道的图像数据进行边缘判决插值，若第二当前曝光增益大于第一当前曝光增益，则根据图像信号中第一类通道的图像数据，对第二类通道的图像数据进行边缘判决插值；获得插值后的可见光信号的各色彩分量的图像信号以及近红外光的图像信号；将各色彩分量的图像信号进行组合，得到第一分解图像信号进行输出，并将近红外光的图像信号作为第二分解图像信号进行输出。

可选的，后处理模块，可以包括：第一处理子模块、第二处理子模块、色彩恢复子模块及第三处理子模块；

第一处理子模块，用于获取第一分解图像信号，对第一分解图像信号进行预处理，得到第一子处理图像信号；

第二处理子模块，用于获取第二分解图像信号，对第二分解图像信号进行预处理，得到第二子处理图像信号，其中，预处理包括坏点校正、黑电平校正、数字增益、降噪中的至少一种处理方式；

色彩恢复子模块，用于获取第一类通道对应的第一当前曝光参数、第二类通道对应的第二当前曝光参数，以及第一类通道和第二类通道之间的关联信息；根据第一当前曝光参数及第二当前曝光参数，将第一子处理图像信号和第二子处理图像信号归一化至同一曝光参数下；基于关联信息，确定第一类通道的权重和第二类通道的权重；根据第一类通道的权重和第二类通道的权重，以及归一化后的第一子处理图像信号和第二子处理图像信号，得到第一恢复图像信号；

第三处理子模块，用于对第一恢复图像信号进行处理，得到第一输出图像信号。

可选的，后处理模块，可以包括：第一处理子模块、第二处理子模块、色彩恢复子模块及第四处理子模块；

第一处理子模块，用于获取第一分解图像信号，对第一分解图像信号进行预处理，得到第一子处理图像信号；

第二处理子模块，用于获取第二分解图像信号，对第二分解图像信号进行预处理，得到第二子处理图像信号，其中，预处理包括坏点校正、黑电平校正、数字增益、降噪中的至少一种处理方式；

色彩恢复子模块，用于获取第一类通道对应的第一当前曝光参数、第二类通道对应的第二当前曝光参数，以及第一类通道和第二类通道之间的关联信息；根据第一当前曝光参数及第二当前曝光参数，将第一子处理图像信号和第二子处理图像信号归一化至同一曝光参数下；基于关联信息，确定第一类通道的权重和第二类通道的权重；根据第一类通道的权重和第二类通道的权重，以及归一化后的第一子处理图像信号和第二子处理图像信号，得到第二恢复图像信号；

第四处理子模块，用于对第二恢复图像信号进行处理，得到第二输出图像信号。

可选的，后处理模块，可以包括：第一处理子模块、第二处理子模块、色彩恢复子模块、第三处理子模块、第四处理子模块及第五处理子模块；

第一处理子模块，用于获取第一分解图像信号，对第一分解图像信号进行预处理，得到第一子处理图像信号；

第二处理子模块，用于获取第二分解图像信号，对第二分解图像信号进行预处理，得到第二子处理图像信号，其中，预处理包括坏点校正、黑电平校正、数字增益、降噪中的至少一种处理方式；

色彩恢复子模块，用于获取第一类通道对应的第一当前曝光参数、第二类通道对应的第二当前曝光参数，以及第一类通道和第二类通道之间的关联信息；根据第一当前曝光参数及第二当前曝光参数，将第一子处理图像信号和第二子处理图像信号归一化至同一曝光参数下；基于关联信息，确定第一类通道的权重和第二类通道的权重；根据第一类通道的权重和第二类通道的权重，以及归一化后的第一子处理图像信号和第二子处理图像信号，得到第一恢复图像信号和第二恢复图像信号；

第三处理子模块，用于对第一恢复图像信号进行处理，得到第三子处理图像信号；

第四处理子模块，用于对第二恢复图像信号进行处理，得到第四子处理图像信号；

第五处理子模块，用于对第三子处理图像信号和第四子处理图像信号进行处理，得到第一输出图像信号。

可选的，后处理模块，可以包括：第一处理子模块、第二处理子模块、色彩恢复子模块、第三处理子模块、第四处理子模块及第五处理子模块；

第一处理子模块，用于获取第一分解图像信号，对第一分解图像信号进行预处理，得到第一子处理图像信号；

第二处理子模块，用于获取第二分解图像信号，对第二分解图像信号进行预处理，得到第二子处理图像信号，其中，预处理包括坏点校正、黑电平校正、数字增益、降噪中的至少一种处理方式；

色彩恢复子模块，用于获取第一类通道对应的第一当前曝光参数、第二类通道对应的第二当前曝光参数，以及第一类通道和第二类通道之间的关联信息；根据第一当前曝光参数及第二当前曝光参数，将第一子处理图像信号和第二子处理图像信号归一化至同一曝光参数下；基于关联信息，确定第一类通道的权重和第二类通道的权重；根据第一类通道的权重和第二类通道的权重，以及归一化后的第一子处理图像信号和第二子处理图像信号，得到第一恢复图像信号和第二恢复图像信号；

第三处理子模块，用于对第一恢复图像信号进行处理，得到第三子处理图像信号；

第四处理子模块，用于对第二恢复图像信号进行处理，得到第四子处理图像信号；

第五处理子模块，用于对第三子处理图像信号和第四子处理图像信号进行处理，得到第一输出图像信号和第二输出图像信号。

可选的，处理单元还可以包括预处理模块；

预处理模块，用于获取图像传感器输出的图像信号，对图像信号进行预处理，将预处理后的图像信号发送至信号分解模块。

综上述，处理单元16具体可以采用多种方式进行实施，下面分别进行介绍。

第一种实施方式：

如图12所示，处理单元16包括信号分解模块和后处理模块。其中，信号分析模块对输入的图像信号的可见光信号和近红外光信号进行逻辑分解，将图像信号分解为第一分解图像信号和第二分解图像信号；后处理模块对第一分解图像信号和第二分解图像信号进行处理，输出第一输出图像信号。

图像传感器传输给处理单元的一路图像信号中同时包括可见光信号和近红外光信号，因此信号分解模块对这两种图像信号进行逻辑分解，输出分解后的第一分解图像信号和第二分解图像信号。

对于信号分解模块，一种处理方式可以是分别对可见光的r、g、b信号和近红外的nir信号进行上采样(可以是双线性上采样，也可以采用其他上采样方法)，获得r、g、b、nir的图像信号，这四个图像信号为全分辨率图像信号，而后将r、g、b图像信号组合成可见光图像信号作为第一分解图像信号输出，将近红外nir图像信号作为第二分解图像信号输出。

对于信号分解模块，另一种处理方式可以是对rgbir图像信号进行插值运算，插值运算可以是基于边缘判断的插值。其中，进行插值时可以采用成像质量较优的通道作为引导，引导成像质量较差的通道进行边缘判决插值。成像质量可以由增益判断，例如，当nir通道的曝光增益小于r、g、b通道的曝光增益时，采用nir通道引导r、g、b通道进行边缘判决插值；当r、g、b通道的曝光增益小于nir通道的曝光增益时，则采用r、g、b通道引导nir通道进行边缘判决插值。插值后获得r、g、b、nir的图像信号，将r、g、b图像信号组合成可见光图像信号作为第一分解图像信号输出，将近红外nir图像信号作为第二分解图像信号输出。

后处理模块用于对第一分解图像信号和第二分解图像信号进行联合处理，获得第一输出图像信号。后处理模块可以由多种实现方式。

后处理模块的第一种实现方式如图13所示，第一处理子模块可以对第一分解图像信号进行坏点校正、黑电平校正、数据增益、降噪中的一个或多个处理，得到第一子处理图像信号；第二处理子模块可以对第二分解图像信号进行坏点校正、黑电平校正、数据增益、降噪中的一个或多个处理，得到第二子处理图像信号。将第一子处理图像信号和第二子处理图像信号归一化到同一增益和曝光时间下，一种处理方式可以是根据rgb通道的增益g1、曝光时间t1及nir通道的增益g2、曝光时间t2对第二子处理图像信号进行如下调整：

利用预先标定的系数矩阵a，对第一子处理图像信号(rgb图像信号)和调整后的第二子处理图像信号(nir'图像信号)进行联合处理，获得恢复色彩的第一恢复图像信号，处理方式如下式所示：

此外，不排除使用其他方式达到对第一子处理图像信号和第二子处理图像信号归一化到同一曝光时间和增益的目的，如对第一子处理图像信号进行比例缩放，或对系数矩阵a进行比例缩放等。

第三处理子模块对第一恢复图像信号进行进一步处理，包括但不限于数字增益、白平衡、色彩校正、曲线映射、降噪、增强等，最后获得彩色的第一输出图像信号。

后处理模块的第二种实现方式如图14所示，第一处理子模块和第二处理子模块可以采用与图13所示实施例中第一处理子模块和第二处理子模块相同的实现方式，这里不再赘述。色彩恢复子模块的一种处理方式可以将第二子处理图像信号作为第二恢复图像信号直接输出，也可以对第一子处理图像信号和第二子处理图像信号进行加权后，作为第二恢复图像信号输出。第四处理子模块对第二恢复图像信号进行进一步处理，包括但不限于数字增益、白平衡、色彩校正、曲线映射、降噪、增强等，最后获得黑白的第二输出图像信号。

后处理模块的第三种实现方式如图15所示，第一处理子模块和第二处理子模块可以采用与图13所示实施例中第一处理子模块和第二处理子模块相同的实现方式。色彩恢复子模块可以采用与图13所示实施例中色彩恢复子模块相同的实现方式输出第一恢复图像信号、采用与图14所示实施例中色彩恢复子模块相同的实现方式输出第二恢复图像信号。第三处理子模块可以采用与图13所示实施例中第三处理子模块相同的实现方式得到第三子处理图像信号，第四处理子模块可以采用与图14所示实施例中第四处理子模块相同的实现方式得到第四子处理图像信号。第五处理子模块对第三子处理图像信号和第四子处理图像信号进行处理，获得第一输出图像信号，第五处理子模块的处理方式包括但不限于降噪、融合、增强等。

第二种实施方式：

如图16所示，处理单元16包括信号分解模块和后处理模块。其中，信号分析模块对输入的图像信号进行逻辑分解，将图像信号分解为第一分解图像信号和第二分解图像信号；后处理模块对第一分解图像信号和第二分解图像信号进行处理，输出第一输出图像信号和第二输出图像信号。

信号分解模块可以采用与第一种实施方式中信号分解模块相同的实现方式，这里不再赘述。

后处理模块的实现方式如图17所示，第一处理子模块、第二处理子模块、色彩恢复子模块、第三处理子模块、第四处理子模块可以采用与图15所示实施例中的相应模块相同的实现方式。第五处理子模块对第三子处理图像信号和第四子处理图像信号进行处理，处理方式包括但不限于降噪、融合、增强等，获得彩色的第一输出图像信号和黑白的第二输出图像信号。

第三种实施方式：

如图18所示，处理单元16包括预处理模块、信号分解模块和后处理模块。其中，预处理模块对输入的图像信号进行预处理，输出预处理图像信号；信号分析模块对预处理图像信号进行逻辑分解，将预处理图像信号分解为第一分解图像信号和第二分解图像信号；后处理模块对第一分解图像信号和第二分解图像信号进行处理，输出第一输出图像信号和第二输出图像信号。

预处理模块对输入的图像信号进行预处理，获得预处理图像，其中，预处理包括但不限于黑电平校正、坏点校正、数字增益、降噪等。

信号分解模块可以采用与第一种实施方式中信号分解模块相同的实现方式，这里不再赘述。

后处理模块可以采用与第一种实施方式中后处理模块相同的实现方式，这里不再赘述。

第四种实施方式：

如图19所示，处理单元16包括预处理模块、信号分解模块和后处理模块。其中，预处理模块对输入的图像信号进行预处理，输出预处理图像信号；信号分析模块对预处理图像信号进行逻辑分解，将预处理图像信号分解为第一分解图像信号和第二分解图像信号；后处理模块对第一分解图像信号和第二分解图像信号进行处理，输出第一输出图像信号和第二输出图像信号。

预处理模块可以采用与第三种实施方式中预处理模块相同的实现方式，这里不再赘述。

信号分解模块可以采用与第一种实施方式中信号分解模块相同的实现方式，这里不再赘述。

后处理模块可以采用与第二种实施方式中后处理模块相同的实现方式，这里不再赘述。

本申请实施例提供了一种图像处理方法，应用于成像系统，该系统包括：图像传感器、统计单元和曝光控制单元；图像传感器包括多类通道；如图20所示，该方法包括：

s201，图像传感器将光信号转换为图像信号，其中，光信号包括多种波段范围内的光分量。

s202，统计单元获取图像信号，提取图像信号中各类通道的图像数据，对各类通道的图像数据分别进行统计，得到各类通道的统计数据，并将各类通道的统计数据发送至曝光控制单元。

s203，曝光控制单元接收统计单元发送的各类通道的统计数据，针对任一类通道，根据该类通道的统计数据，计算该类通道对应的曝光参数，并基于该曝光参数，控制对该类通道的图像数据进行亮度调整。

可选的，图像传感器包括：响应可见光波段范围内的光分量的第一类通道，以及响应近红外光波段范围内的光分量的第二类通道，其中，第一类通道包括多个色彩通道，第二类通道包括近红外通道；

s202中，统计单元对各类通道的图像数据分别进行统计，得到各类通道的统计数据的步骤，具体可以通过如下步骤实现：

根据多个色彩通道中至少一个色彩通道的图像数据，计算第一类通道的图像数据统计值作为第一类通道的统计数据；

根据近红外通道的图像数据，计算第二类通道的图像数据统计值作为第二类通道的统计数据。

可选的，该系统还可以包括：补光单元；图像传感器，包括响应近红外光波段范围内的光分量的第二类通道；

该方法还可以包括如下步骤：

若第二类通道的统计数据大于第一预设阈值，则控制补光单元降低发射近红外光的强度；

若第二类通道的统计数据小于第二预设阈值，则控制补光单元提高发射近红外光的强度。

可选的，该系统还可以包括：处理单元；

在执行s201之后，该方法还可以包括如下步骤：

处理单元获取图像传感器输出的图像信号、各类通道对应的当前曝光参数以及各类通道之间的关联信息，根据各类通道对应的当前曝光参数及各类通道之间的关联信息，确定每两类通道之间的相关性，根据每两类通道之间的相关性，去除包含在一类通道中的另一类通道的光分量。

可选的，图像传感器可以包括：响应可见光波段范围内的光分量的第一类通道，以及响应近红外光波段范围内的光分量的第二类通道；

处理单元获取图像传感器输出的图像信号、各类通道对应的当前曝光参数以及各类通道之间的关联信息，根据各类通道对应的当前曝光参数及各类通道之间的关联信息，确定每两类通道之间的相关性，根据每两类通道之间的相关性，去除包含在一类通道中的另一类通道的光分量的步骤，具体可以通过如下步骤实现：

获取图像传感器输出的图像信号、第一类通道和第二类通道对应的当前曝光参数，以及第一类通道的色彩和第二类通道的亮度之间的关联信息；

根据第一类通道和第二类通道对应的当前曝光参数，将图像信号中第一类通道的图像数据和第二类通道的图像数据归一化至同一曝光参数下；

基于关联信息，确定第一类通道的权重和第二类通道的权重；

根据第一类通道的权重和第二类通道的权重，以及归一化后的第一类通道的图像数据和第二类通道的图像数据，去除包含在第一类通道中的第二类通道的光分量。

可选的，图像传感器可以包括：响应可见光波段范围内的光分量的第一类通道，以及响应近红外光波段范围内的光分量的第二类通道；

处理单元获取图像传感器输出的图像信号、各类通道对应的当前曝光参数以及各类通道之间的关联信息，根据各类通道对应的当前曝光参数及各类通道之间的关联信息，确定每两类通道之间的相关性，根据每两类通道之间的相关性，去除包含在一类通道中的另一类通道的光分量的步骤，具体可以通过如下步骤实现：

获取图像传感器输出的图像信号、第一类通道和第二类通道对应的当前曝光参数，以及第一类通道的色彩和第二类通道的亮度之间的关联信息；

根据第一类通道和第二类通道对应的当前曝光参数，以及关联信息，确定第一类通道的权重和第二类通道的权重；

根据第一类通道的权重和第二类通道的权重、第一类通道的图像数据及第二类通道的图像数据，去除包含在第一类通道中的第二类通道的光分量。

可选的，在处理单元获取图像传感器输出的图像信号、各类通道对应的当前曝光参数以及各类通道之间的关联信息，根据各类通道对应的当前曝光参数及各类通道之间的关联信息，确定每两类通道之间的相关性，根据每两类通道之间的相关性，去除包含在一类通道中的另一类通道的光分量的步骤之后，该方法还可以包括如下步骤：

处理单元将已去除其他类通道的光分量的各类通道的图像数据进行融合，得到融合后的图像信号。

应用本申请实施例，统计单元对每一类通道的图像数据分别进行统计，曝光控制单元根据一类通道的统计数据计算出这类通道对应的曝光参数，并基于计算出的曝光参数，控制对该类通道的图像数据进行亮度调整，针对不同类通道所响应的光分量的能量不同的实际情况，对一类通道的图像数据进行独立曝光，使得一类通道的图像数据的亮度控制在合适的亮度范围内，从而提高了最终的成像效果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图像处理方法实施例而言，由于其基本相似于成像系统实施例，所以描述的比较简单，相关之处参见成像系统实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。