图像融合设备和方法与流程
本申请涉及图像处理技术领域，尤其涉及一种图像融合设备和方法。
背景技术：
在低照度场景下，为了保证所采集的图像涵盖较多的图像信息，通常需要对图像采集设备采集的图像进行图像融合。图像融合是将所采集的同一目标的不同图像的互补信息依据某种准则融合，使融合后的图像具有比参加融合的任意一幅图像更优越的性质，以更精确地反映实际信息。。
相关技术中图像融合的方案是：通过单摄像头、分光结构以及两个图像传感器采集可见光图像和非可见光图像，进行配准处理之后，再进行融合生成融合图像。分光结构用于将入射光分解为可见光信号和非可见光信号。上述方案需要两颗图像传感器和复杂的分光结构设计，工艺复杂，成本较高。
技术实现要素：
本申请提供一种图像融合设备，简化了图像采集的结构，进而降低成本。
第一方面，本申请提供一种图像融合设备，包括：
镜头、滤光组件、单个图像传感器、补光器和处理器，所述图像传感器位于所述滤光组件的出光侧；
所述图像传感器，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；
所述补光器包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内存在近红外补光，在所述第二预设曝光的曝光时间段内不存在近红外补光；
所述滤光组件包括第一滤光片，所述第一滤光片用于通过可见光波段和部分近红外光；
所述处理器，包括缓存单元和图像处理单元；
所述缓存单元，用于在获知所述图像传感器当前输出的第一目标图像信号需要缓存时，将所述第一目标图像信号进行缓存，以及在获知需要同步输出已缓存的第二目标图像信号时，至少将已缓存的第二目标图像信号同步输出至图像处理单元；其中，若所述第一目标图像信号为第一图像信号，所述第二目标图像信号为已缓存的一帧第二图像信号，或者所述第一目标图像信号为第二图像信号，所述第二目标图像信号为已缓存的一帧第一图像信号；
所述图像处理单元，用于至少接收所述图像传感器当前输出的第一目标图像信号，以及至少接收所述缓存单元同步输出的第二目标图像信号，根据所述第一目标图像信号和所述第二目标图像信号生成彩色融合图像。
第二方面，本申请提供一种图像融合设备，包括：
镜头、滤光组件、单个图像传感器、补光器和处理器，所述图像传感器位于所述滤光组件的出光侧；
所述图像传感器，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；
所述补光器包括第一补光装置，所述第一补光装置用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内存在近红外补光，在所述第二预设曝光的曝光时间段内不存在近红外补光；
所述滤光组件包括第一滤光片，所述第一滤光片用于通过可见光波段和部分近红外光；
所述处理器，包括缓存单元和图像处理单元；
图像处理单元，用于接收所述图像传感器当前输出的第一目标图像信号，将所述第一目标图像信号预处理后得到第一目标图像，在所述第一目标图像需要缓存时，至少将所述第一目标图像同步输出至所述缓存单元进行缓存，以及在所述缓存单元需要同步输出所述缓存单元已缓存的第二目标图像时，至少接收所述缓存单元同步输出的所述第二目标图像，根据所述第一目标图像和所述第二目标图像生成彩色融合图像；其中，若所述第一目标图像信号为第一图像信号则所述第一目标图像为第一图像信号预处理后生成的图像，所述第二目标图像为已缓存的一帧由第二目标图像信号预处理后生成的图像，所述第二目标图像信号为所述第二图像信号；若所述第一目标图像信号为第二图像信号，则所述第一目标图像为第二图像信号预处理后生成的图像，所述第二目标图像为已缓存的一帧由第二目标图像信号预处理后的图像，所述第二目标图像信号为所述第一图像信号；
缓存单元，用于在获知所述第一目标图像需要缓存时，至少将所述图像处理单元同步输出的所述第一目标图像进行缓存，以及在获知需要同步输出已缓存的第二目标图像时，至少将已缓存的第二目标图像信号同步输出至所述图像处理单元。
第三方面，本申请实施例提供一种图像融合方法，应用于图像融合设备，所述图像融合设备包括图像传感器、补光器、滤光组件和处理器，所述图像传感器位于所述滤光组件的出光侧，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片，所述处理器包括：缓存单元和图像处理单元，所述方法包括：
通过所述第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为图像传感器的多次曝光中的其中两次曝光；
通过所述第一滤光片使可见光波段的光和部分近红外光通过；
通过所述图像传感器采用全局曝光方式进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号；
通过所述缓存单元在获知所述图像传感器当前输出的第一目标图像信号需要缓存时，将所述第一目标图像信号进行缓存，以及在获知需要同步输出已缓存的第二目标图像信号时，至少将已缓存的第二目标图像信号同步输出至图像处理单元；其中，若所述第一目标图像信号为第一图像信号，所述第二目标图像信号为已缓存的一帧第二图像信号，或者所述第一目标图像信号为第二图像信号，所述第二目标图像信号为已缓存的一帧第一图像信号；
通过所述图像处理单元至少接收所述图像传感器当前输出的第一目标图像信号，以及至少接收所述缓存单元同步输出的第二目标图像信号，根据所述第一目标图像信号和所述第二目标图像信号生成彩色融合图像。
第四方面，本申请实施例提供一种图像融合方法，应用于图像融合设备，所述图像融合设备包括图像传感器、补光器、滤光组件和处理器，所述图像传感器位于所述滤光组件的出光侧，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片，所述处理器包括：缓存单元和图像处理单元，其特征在于，所述方法包括：
通过所述第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为图像传感器的多次曝光中的其中两次曝光；
通过所述第一滤光片使可见光波段的光和部分近红外光通过；
通过所述图像传感器采用全局曝光方式进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号；
通过所述图像处理单元接收所述图像传感器当前输出的第一目标图像信号，将所述第一目标图像信号预处理后得到第一目标图像，在所述第一目标图像需要缓存时，至少将所述第一目标图像同步输出至所述缓存单元进行缓存，以及在所述缓存单元需要同步输出所述缓存单元已缓存的第二目标图像时，至少接收所述缓存单元同步输出的所述第二目标图像，根据所述第一目标图像和所述第二目标图像生成彩色融合图像；其中，若所述第一目标图像信号为第一图像信号则所述第一目标图像为第一图像信号预处理后生成的图像，所述第二目标图像为已缓存的一帧由第二目标图像信号预处理后生成的图像，所述第二目标图像信号为所述第二图像信号；若所述第一目标图像信号为第二图像信号，则所述第一目标图像为第二图像信号预处理后生成的图像，所述第二目标图像为已缓存的一帧由第二目标图像信号预处理后的图像，所述第二目标图像信号为所述第一图像信号；
通过所述缓存单元在获知所述第一目标图像需要缓存时，至少将所述图像处理单元同步输出的所述第一目标图像进行缓存，以及在获知需要同步输出已缓存的第二目标图像时，至少将已缓存的第二目标图像信号同步输出至所述图像处理单元。
本申请实施例提供的图像融合设备和方法，该图像融合设备包括：滤光组件、单个图像传感器、补光器和处理器，所述图像传感器，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述补光器用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内存在近红外补光，在所述第二预设曝光的曝光时间段内不存在近红外补光；所述滤光组件包括第一滤光片，所述第一滤光片用于通过可见光波段和部分近红外光；所述处理器，包括缓存单元和图像处理单元；所述缓存单元，用于在获知所述图像传感器当前输出的第一目标图像信号需要缓存时，将所述第一目标图像信号进行缓存，以及在获知需要同步输出已缓存的第二目标图像信号时，将已缓存的第二目标图像信号同步输出至图像处理单元；其中，若所述第一目标图像信号为第一图像信号，所述第二目标图像信号为已缓存的一帧第二图像信号，或者所述第一目标图像信号为第二图像信号，所述第二目标图像信号为已缓存的一帧第一图像信号；所述图像处理单元，用于接收所述图像传感器当前输出的第一目标图像信号，以及接收所述缓存单元同步输出的第二目标图像信号，根据所述第一目标图像信号和所述第二目标图像信号生成彩色融合图像，上述方案中图像采集的结构简单，可以降低成本，而且可以在任一时间段内通过第一预设曝光和第二预设曝光同时采集到包含近红外光信息的第一图像信号和包含可见光信息的第二图像信号，后续根据该第一图像信号和第二图像信号进行融合处理，得到的彩色融合图像的质量较高。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本申请实施例提供的第一种图像采集装置的结构示意图；
图2是本申请实施例提供的一种图像融合设备的结构示意图；
图3是本申请实施例提供的另一种图像融合设备的结构示意图；
图4是本申请实施例提供的一种图像处理单元的结构示意图；
图5是本申请实施例提供的一种图像缓存原理示意图；
图6是本申请实施例提供的一种图像预处理单元的结构示意图；
图7是本申请实施例提供的一种图像缓存同步原理示意图；
图8是本申请实施例提供的另一种图像缓存同步原理示意图；
图9a是本申请实施例提供的又一种图像缓存同步原理示意图；
图9b是本申请实施例提供的又一种图像缓存同步原理示意图；
图9c是本申请实施例提供的又一种图像缓存同步原理示意图；
图10是本申请实施例提供的另一种图像融合设备的结构示意图；
图11是本申请实施例提供的又一种图像融合设备的结构示意图；
图12是本申请实施例提供的另一种图像缓存原理示意图；
图13是本申请实施例提供的又一种图像缓存同步原理示意图；
图14是本申请实施例提供的又一种图像缓存同步原理示意图；
图15a是本申请实施例提供的又一种图像缓存同步原理示意图；
图15b是本申请实施例提供的又一种图像缓存同步原理示意图；
图15c是本申请实施例提供的又一种图像缓存同步原理示意图
图16是本申请实施例提供的一种图像融合处理原理示意图；
图17是本申请实施例提供的一种第一补光装置进行近红外补光的波长和相对强度之间的关系示意图；
图18是本申请实施例提供的一种第一滤光片通过的光线的波长与通过率之间的关系示意图；
图19是本申请实施例提供的第二种图像采集装置的结构示意图；
图20是本申请实施例提供的一种rgb传感器的示意图；
图21是本申请实施例提供的一种rgbw传感器的示意图；
图22是本申请实施例提供的一种rccb传感器的示意图；
图23是本申请实施例提供的一种ryyb传感器的示意图；
图24是本申请实施例提供的一种图像传感器的感应曲线示意图；
图25是本申请实施例提供的一种卷帘曝光方式的示意图；
图26是本申请实施例提供的第一种第一预设曝光和第二预设曝光的示意图；
图27是本申请实施例提供的第二种第一预设曝光和第二预设曝光的示意图；
图28是本申请实施例提供的第三种第一预设曝光和第二预设曝光的示意图；
图29是本申请实施例提供的第一种卷帘曝光方式和近红外补光的示意图；
图30是本申请实施例提供的第二种卷帘曝光方式和近红外补光的示意图；
图31是本申请实施例提供的第三种卷帘曝光方式和近红外补光的示意图；
图32是本申请实施例提供的第一种联合降噪单元的结构示意图；
图33是本申请实施例提供的第二种联合降噪单元的结构示意图；
图34是本申请实施例提供的第三种联合降噪单元的结构示意图；
图35是本申请实施例提供的一种图像融合方法流程示意图；
图36是本申请实施例提供的一种图像融合方法流程示意图。
附图标记说明：
01：图像传感器，02：补光器，03：滤光组件；04：镜头；
021：第一补光装置，022：第二补光装置，031：第一滤光片，032：第二滤光片，033：切换部件。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本申请实施例提供的一种图像采集装置的结构示意图，参见图1，该图像采集装置包括图像传感器01、补光器02和滤光组件03，图像传感器01位于滤光组件03的出光侧。图像传感器01用于通过多次曝光产生并输出第一图像信号和第二图像信号。其中，第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号，第一预设曝光和第二预设曝光为该多次曝光中的其中两次曝光。补光器02包括第一补光装置021，第一补光装置021用于进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的曝光时间段内不存在近红外补光。滤光组件03包括第一滤光片031，第一滤光片031使可见光波段的光和部分近红外光通过，其中，第一补光装021进行近红外光补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。通过所述第一滤光片(031)的近红外光波段可以是部分近红外光波段。
在本申请一实施例中，参见图2，该图像融合设备可以包括图像采集装置，即包括：图像传感器01、补光器02和滤光组件03，以及处理器，处理器包括：缓存单元和图像处理单元。
缓存单元，用于在获知所述图像传感器当前输出的第一目标图像信号需要缓存时，将所述第一目标图像信号进行缓存，以及在获知需要同步输出已缓存的第二目标图像信号时，至少将已缓存的第二目标图像信号同步输出至图像处理单元；其中，若所述第一目标图像信号为第一图像信号，所述第二目标图像信号为已缓存的一帧第二图像信号，或者所述第一目标图像信号为第二图像信号，所述第二目标图像信号为已缓存的一帧第一图像信号；
所述图像处理单元，用于至少接收所述图像传感器当前输出的第一目标图像信号，以及至少接收所述缓存单元同步输出的第二目标图像信号，根据所述第一目标图像信号和所述第二目标图像信号生成彩色融合图像。
进一步的，参见图3，处理器还可以包括：同步单元；
同步单元用于确定所述图像传感器当前输出的第一目标图像信号需要缓存时，指示缓存单元将所述第一目标图像信号进行缓存，以及从已缓存的图像信号中确定需要同步输出第二目标图像信号时，指示缓存单元将所述第二目标图像信号同步输出至所述图像处理单元。
参见图4，图像处理单元可以包括：图像预处理单元和图像融合单元；
所述图像预处理单元，用于将所述第一目标图像信号经预处理后生成第一目标图像，将所述第二目标图像信号经预处理后生成第二目标图像；
所述图像融合单元，用于将所述第一目标图像和所述第二目标图像进行融合处理，得到所述彩色融合图像。
其中，若第一目标图像信号为第一图像信号时，预处理后生成的第一目标图像为黑白图像，第二目标图像信号为第二图像信号时，预处理后生成的第二目标图像为彩色图像。
若第一目标图像信号为第二图像信号时，预处理后生成的第一目标图像为彩色图像，第二目标图像信号为第一图像信号时，预处理后生成的第二目标图像为黑白图像。
具体的，参见图5，本实施例中，将图像传感器先输出的第一目标图像信号存入缓存，待图像传感器输出第二目标图像信号后输出至图像处理单元，实现第一目标图像信号同第二目标图像信号之间的同步，然后再通过图像处理单元的图像预处理单元以及图像融合单元进行处理。
进一步的，参见图6，所图像预处理单元，包括：第一预处理单元、第二预处理单元和联合降噪单元；
所述第一预处理单元，用于对所述第一目标图像信号进行第一预处理操作，得到预处理后的第一目标图像；
所述第二预处理单元，用于对所述第二目标图像信号进行第二预处理操作，得到第二目标图像；
所述联合降噪单元，用于对所述第一目标图像和所述第二目标图像进行滤波处理，得到降噪后的第一目标图像和第二目标图像，所述降噪后的第一目标图像和第二目标图像用于进行融合处理，得到所述彩色融合图像。
其中，第一预处理操作包括以下至少一项：图像插值、伽马映射和色彩转换；第二预处理操作包括以下至少一项：白平衡、图像插值和伽马映射。
在本申请一实施例中，参见图7，缓存单元可以在一个帧周期分别存入第一目标图像信号和取出第二目标图像信号，具体方案如下：
所述同步单元，用于确定每一帧所述第一目标图像信号需要缓存，并且需要同步输出所述第二目标图像信号，所述第二目标图像信号为所述缓存单元前一次缓存的图像信号；
其中，若所述第一目标图像信号为第二图像信号，则所述缓存单元当前缓存第二图像信号，并将前一次缓存的第一图像信号确定为所述第二目标图像信号输出至图像预处理单元；
若所述第一目标图像信号为第一图像信号，则所述缓存单元当前缓存第一图像信号，并将前一次缓存的第二图像信号确定为所述第二目标图像信号输出至图像预处理单元。
其中，所述图像传感器可以交替输出所述第一图像信号和所述第二图像信号，或，间隔几个第一图像信号后输出第二图像信号等方式输出第一图像信号和第二图像信号，本申请实施例中对此并不限定。
图7中以图像传感器交替输出第一图像信号和第二图像信号为例进行说明，图7中图像传感器在输出第二图像信号m-2时，同步单元指示缓存单元存储该第二图像信号m-2，并将前一次缓存的第一图像信号m-3从缓存单元中输出，此时图像处理单元将第二图像信号m-2和第一图像信号m-3进行融合处理，得到彩色融合图像；图像传感器在输出第一图像信号m-1时，同步单元指示缓存单元存储该第一图像信号m-1，并将前一次缓存的第二图像信号m-2从缓存单元输出；图像传感器在输出第二图像信号m时，同步单元指示缓存单元存储该第二图像信号m，并将前一次缓存的第一图像信号m-1从缓存单元输出，依此类推。
在本申请另一实施例中，参见图8、图9a、图9b、图9c，缓存单元可以在不同帧周期分别存入第一目标图像信号和取出第二目标图像信号，具体方案如下：
所述同步单元，用于确定所述第一目标图像信号为第一图像信号时需要缓存，以及在确定所述第一目标图像信号为第二图像信号时，需要同步输出所述第二目标图像信号，所述第二目标图像信号为所述缓存单元已缓存的图像信号中最近一次缓存的第一图像信号；其中，若所述第一目标图像信号为第二图像信号，则所述缓存单元将最近一次缓存的第一图像信号确定为所述第二目标图像信号输出至图像预处理单元；若所述第一目标图像信号为第一图像信号，则所述缓存单元缓存所述第一图像信号；或者，
所述同步单元，用于确定所述第一目标图像信号为第二图像信号时需要缓存，以及在确定所述第一目标图像信号为第一图像信号时，需要同步输出所述第二目标图像信号，所述第二目标图像信号为所述缓存单元已缓存的第二图像信号中最近一次缓存的第二图像信号；其中，若所述第一目标图像信号为第一图像信号，则所述缓存单元将最近一次缓存的第二图像信号确定为所述第二目标图像信号输出至图像预处理单元；若所述第一目标图像信号为第二图像信号，则所述缓存单元缓存所述第二图像信号。
图8中以图像传感器交替输出第一图像信号和第二图像信号为例进行说明，图8中图像传感器在输出第二图像信号m-2时，同步单元指示缓存单元将最近一次缓存的第一图像信号m-3从缓存单元输出，此时图像处理单元将第二图像信号m-2和第一图像信号m-3进行融合处理，得到彩色融合图像；图像传感器在输出第一图像信号m-1时，同步单元指示缓存单元存储该第一图像信号m-1，此时图像处理单元不进行处理；图像传感器在输出第二图像信号m时，同步单元指示缓存单元将最近一次缓存的第一图像信号m-1从缓存单元输出，此时图像处理单元将第二图像信号m和第一图像信号m-1进行融合处理，得到彩色融合图像，依此类推。
图8中是以仅将第一图像信号进行缓存为例进行说明，仅将第二图像信号进行缓存与图8类似，此处不再赘述。
参见图9a，图像传感器间隔两个第一图像信号输出一个第二图像信号，缓存单元仅缓存第二图像信号，图9a中图像传感器在输出第二图像信号m-2时，同步单元指示缓存单元将该第二图像信号m-2进行缓存，此时图像处理单元不进行处理；图像传感器在输出第一图像信号m-1时，同步单元指示缓存单元将最近一次缓存的第二图像信号m-2输出，图像处理单元将第二图像信号m-2和第一图像信号m-1进行融合处理，得到彩色融合图像；图像传感器在输出第一图像信号m时，同步单元指示缓存单元将最近一次缓存的第二图像信号m-2输出，此时图像处理单元将第二图像信号m-2和第一图像信号m进行融合处理，得到彩色融合图像，依此类推。
进一步的，在本申请的其他实施例中，对于第一图像信号来说，可以不是每一帧都进行缓存，也可以是间隔几个第一图像信号再存储，参见图9b,图像传感器在输出第二图像信号m-2时，同步单元指示缓存单元将最近一次缓存的第一图像信号m-5从缓存单元输出，此时图像处理单元将第二图像信号m-2和第一图像信号m-5进行融合处理，得到彩色融合图像；图像传感器在输出第一图像信号m-1时，同步单元指示缓存单元存储该第一图像信号m-1，此时图像处理单元不进行处理；图像传感器在输出第二图像信号m时，同步单元指示缓存单元将最近一次缓存的第一图像信号m-1从缓存单元输出，此时图像处理单元将第二图像信号m和第一图像信号m-1进行融合处理，得到彩色融合图像，图像传感器在输出第一图像信号m+1时，缓存单元和图像处理单元均不处理，图像传感器在输出第二图像信号m+2时，同步单元指示缓存单元将最近一次缓存的第一图像信号m-1从缓存单元输出，此时图像处理单元将第二图像信号m+2和第一图像信号m-1进行融合处理，得到彩色融合图像，依此类推。
进一步的，在本申请的其他实施例中，可以在一个帧周期同步输出第一目标图像信号和第二目标图像信号，具体方案如下：
参见图9c，所述同步单元，用于确定每一帧所述第一目标图像信号需要缓存，并且需要同步输出最近一次缓存的第二目标图像信号和最近一次缓存的第一目标图像信号；
其中，若所述第一目标图像信号为第二图像信号，则所述缓存单元当前缓存第二图像信号，并将最近一次缓存的第一图像信号和最近一次缓存的第二图像信号输出；
若所述第一目标图像信号为第一图像信号，则所述缓存单元当前缓存第一图像信号，并将最近一次缓存的第一图像信号和最近一次缓存的第二图像信号输出。
参见图9c，图9c中以图像传感器交替输出第一图像信号和第二图像信号为例进行说明，图9c中图像传感器在输出第二图像信号m-2时，同步单元指示缓存单元存储该第二图像信号m-2，图像处理单元不进行处理；图像传感器在输出第一图像信号m-1时，同步单元指示缓存单元存储该第一图像信号m-1，并将最近一次缓存的第一图像信号m-3和第二图像信号m-2从缓存单元中输出，此时图像处理单元将第二图像信号m-2和第一图像信号m-1进行融合处理，得到彩色融合图像；图像传感器在输出第二图像信号m时，同步单元指示缓存单元存储该第二图像信号m，图像处理单元不进行处理；图像传感器在输出第一图像信号m+1时，同步单元指示缓存单元存储该第一图像信号m+1，并将最近一次缓存的第二图像信号m和最近一次缓存的第一图像信号m-1从缓存单元输出，依此类推。
本申请实施例中，通过图像传感器多次曝光和补光器补光生成多幅具有不同光谱范围的图像，扩展单传感器的图像采集能力，提升不同场景下的图像质量；处理器具有图像缓存功能，能够实现具有不同曝光时间段的图像之间的同步，而且具有图像融合功能，能够生成信噪比提升的融合图像。
在本申请一实施例中，所述联合降噪单元，具体用于：
根据第一目标图像和第二目标图像之间的相关性，对所述第一目标图像和第二目标图像分别进行联合滤波处理，得到所述降噪后的第一目标图像和第二目标图像。
在本申请一实施例中，所述联合降噪单元包括时域降噪单元或空域降噪单元；
所述时域降噪单元用于根据所述第一目标图像和所述第二目标图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一目标图像进行时域滤波，得到所述降噪后的第一目标图像，根据所述运动估计结果对所述第二目标图像进行时域滤波，得到所述降噪后的第二目标图像；
所述空域降噪单元用于根据所述第一目标图像和所述第二目标图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一目标图像进行空域滤波，得到所述降噪后的第一目标图像，根据所述边缘估计结果对所述第二目标图像进行空域滤波，得到所述降噪后的第二目标图像。
在本申请另一实施例中，所述联合降噪单元包括时域降噪单元和空域降噪单元；
所述时域降噪单元用于根据所述第一目标图像和所述第二目标图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一目标图像进行时域滤波，得到第一时域降噪图像，根据所述运动估计结果对所述第二目标图像进行时域滤波，得到第二时域降噪图像；
所述空域降噪单元用于根据所述第一时域降噪图像和所述第二时域降噪图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一时域降噪图像进行空域滤波，得到所述降噪后的第一目标图像，根据所述边缘估计结果对所述第二时域降噪图像进行空域滤波，得到所述降噪后的第二目标图像；
或者，
所述空域降噪单元用于根据所述第一目标图像和所述第二目标图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一目标图像进行空域滤波，得到第一空域降噪图像，根据所述边缘估计结果对所述第二目标图像进行空域滤波，得到第二空域降噪图像；
所述时域降噪单元用于根据所述第一空域降噪图像和所述第二空域降噪图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一空域降噪图像进行时域滤波，得到所述降噪后的第一目标图像，根据所述运动估计结果对所述第二空域降噪图像进行时域滤波，得到所述降噪后的第二目标图像。
在本申请另一实施例中，参见图10，该图像融合设备可以包括图像采集设备，即包括：图像传感器01、补光器02和滤光组件03，以及处理器，处理器包括：缓存单元和图像处理单元。
图像处理单元，用于接收所述图像传感器当前输出的第一目标图像信号，将所述第一目标图像信号预处理后得到第一目标图像，在所述第一目标图像需要缓存时，至少将所述第一目标图像同步输出至所述缓存单元进行缓存，以及在所述缓存单元需要同步输出所述缓存单元已缓存的第二目标图像时，至少接收所述缓存单元同步输出的所述第二目标图像，根据所述第一目标图像和所述第二目标图像生成彩色融合图像；其中，若所述第一目标图像信号为第一图像信号则所述第一目标图像为第一图像信号预处理后生成的图像，所述第二目标图像为已缓存的一帧由第二目标图像信号预处理后生成的图像，所述第二目标图像信号为所述第二图像信号；若所述第一目标图像信号为第二图像信号，则所述第一目标图像为第二图像信号预处理后生成的图像，所述第二目标图像为已缓存的一帧由第二目标图像信号预处理后的图像，所述第二目标图像信号为所述第一图像信号；
缓存单元，用于在获知所述第一目标图像需要缓存时，至少将所述图像处理单元同步输出的所述第一目标图像进行缓存，以及在获知需要同步输出已缓存的第二目标图像时，至少将已缓存的第二目标图像信号同步输出至所述图像处理单元。
参见图11，所述处理器还包括：同步单元；所述同步单元用于确定所述图像处理单元预处理生成的第一目标图像需要缓存时，指示缓存单元将所述第一目标图像进行缓存，以及从已缓存的图像中确定需要同步输出第二目标图像时，指示缓存单元将所述第二目标图像同步输出至图像处理单元。
参见图4，所述图像处理单元，包括：图像预处理单元和图像融合单元；
所述图像预处理单元，用于将所述第一目标图像信号经预处理后生成第一目标图像，并将所述第二目标图像信号经预处理后生成第二目标图像；
所述图像融合单元，用于将所述第一目标图像和所述第二目标图像进行融合处理，得到所述彩色融合图像。
其中，若第一目标图像信号为第一图像信号时，预处理后生成的第一目标图像为黑白图像，第二目标图像信号为第二图像信号时，预处理后生成的第二目标图像为彩色图像。
若第一目标图像信号为第二图像信号时，预处理后生成的第一目标图像为彩色图像，第二目标图像信号为第一图像信号时，预处理后生成的第二目标图像为黑白图像。
具体的，参见图12，本实施例中，将图像传感器先输出的第一目标图像信号输入图像处理单元，经过图像预处理单元进行预处理后，缓存单元存储该第一目标图像信号预处理后的第一目标图像，待图像传感器输出第二目标图像信号后将第二目标图像信号输出至图像处理单元，并经过图像预处理单元进行预处理后将第二目标图像输出至图像融合单元时，将缓存单元中存储的第一目标图像输出至图像融合单元，实现第一目标图像同第二目标图像之间的同步，然后再通过图像融合单元进行融合处理，得到彩色融合图像。
参见图6，所述图像预处理单元，包括：第一预处理单元、第二预处理单元和联合降噪单元；
所述第一预处理单元，用于对所述第一目标图像信号进行第一预处理操作，得到预处理后的第一目标图像；
所述第二预处理单元，用于对所述第二目标图像信号进行第二预处理操作，得到第二目标图像；
所述联合降噪单元，用于对所述第一目标图像和所述第二目标图像进行滤波处理，得到降噪后的第一目标图像和第二目标图像，所述降噪后的第一目标图像和第二目标图像用于进行融合处理，得到融合后的彩色融合图像。
其中，第一预处理操作包括以下至少一项：图像插值、伽马映射和色彩转换；第二预处理操作包括以下至少一项：白平衡、图像插值和伽马映射。
在本申请一实施例中，参见图13，缓存单元可以在一个帧周期分别存入第一目标图像和取出第二目标图像，具体方案如下：
所述同步单元，用于确定每一帧所述第一目标图像需要缓存，并且需要同步输出所述第二目标图像，所述第二目标图像为所述缓存单元前一次缓存的图像；
其中，若所述第一目标图像为第二图像信号预处理后生成的图像，则所述缓存单元当前缓存第二图像信号预处理后生成的图像，并将前一次缓存的第一图像信号预处理后生成的图像确定为所述第二目标图像输出至图像预处理单元；
若所述第一目标图像信号为第一图像信号预处理后生成的图像，则所述缓存单元当前缓存第一图像信号预处理后生成的图像，并将前一次缓存的第二图像信号预处理后生成的图像确定为所述第二目标图像输出至图像预处理单元。
其中，所述图像传感器可以交替输出所述第一图像信号和所述第二图像信号，或，间隔几个第一图像信号后输出第二图像信号等方式输出第一图像信号和第二图像信号，本申请实施例中对此并不限定。
图13中以图像传感器交替输出第一图像信号和第二图像信号为例进行说明，图13中图像预处理单元在输出彩色图像m-2时，同步单元指示缓存单元存储该彩色图像m-2，并将前一次缓存的黑白图像m-3输出，此时图像融合单元将彩色图像m-2和黑白图像m-3进行融合处理，得到彩色融合图像；图像预处理单元在输出黑白图像m-1时，同步单元指示缓存单元存储该黑白图像m-1，并将前一次缓存的彩色图像m-2输出；图像预处理单元在输出彩色图像m时，同步单元指示缓存单元存储该彩色图像m，并将前一次缓存的黑白图像m-1输出，依此类推。
在本申请另一实施例中，参见图14、图15a、图15b、图15c，缓存单元可以在不同帧周期分别存入第一目标图像和取出第二目标图像，具体方案如下：
所述同步单元，用于确定所述第一目标图像为第一图像信号预处理后的图像时需要缓存，以及在确定所述第一目标图像为第二图像信号预处理后的图像时，需要同步输出所述第二目标图像，所述第二目标图像为所述缓存单元已缓存的图像中最近一次缓存的第一图像信号预处理后的图像；其中，若所述第一目标图像为第二图像信号预处理后的图像，则所述缓存单元将最近一次缓存的第一图像信号预处理后的图像确定为所述第二目标图像输出至图像预处理单元；若所述第一目标图像为第一图像信号预处理后的图像，则所述缓存单元缓存所述第一图像信号预处理后的图像；或者，
所述同步单元，用于确定所述第一目标图像为第二图像信号预处理后的图像时需要缓存，以及在确定所述第一目标图像为第一图像信号预处理后的图像时，需要同步输出所述第二目标图像，所述第二目标图像为所述缓存单元已缓存的图像中最近一次缓存的第二图像信号预处理后的图像；其中，若所述第一目标图像为第一图像信号预处理后的图像，则所述缓存单元将最近一次缓存的第二图像信号预处理后的图像确定为所述第二目标图像输出至图像预处理单元；若所述第一目标图像为第二图像信号预处理后的图像，则所述缓存单元缓存所述第二图像信号预处理后的图像。
图14中以图像传感器交替输出第一图像信号和第二图像信号为例进行说明，图14中图像预处理单元在输出彩色图像m-2时，同步单元指示缓存单元将最近一次缓存的黑白图像m-3输出，此时图像融合单元将彩色图像m-2和黑白图像m-3进行融合处理，得到彩色融合图像；图像预处理单元在输出黑白图像m-1时，同步单元指示缓存单元存储该黑白图像m-1，此时图像融合单元不进行处理；图像预处理单元在输出彩色图像m时，同步单元指示缓存单元将最近一次缓存的黑白图像m-1输出，此时图像融合单元将彩色图像m和黑白图像m-1进行融合处理，得到彩色融合图像，依此类推。
图14中是以仅将黑白图像进行缓存为例进行说明，仅将彩色图像进行缓存与图14类似，此处不再赘述。
参见图15a，图像传感器间隔两个第一图像信号输出一个第二图像信号，缓存单元仅缓存第二图像信号预处理后的彩色图像，图15a中图像预处理单元在输出彩色图像m-2时，同步单元指示缓存单元将该彩色图像m-2进行缓存，此时图像融合单元不进行处理；图像预处理单元在输出黑白图像m-1时，同步单元指示缓存单元将最近一次缓存的彩色图像m-2输出，图像融合单元将彩色图像m-2和黑白图像m-1进行融合处理，得到彩色融合图像；图像预处理单元在输出黑白图像m时，同步单元指示缓存单元将最近一次缓存的彩色图像m-2输出，此时图像融合单元将彩色图像m-2和黑白图像m进行融合处理，得到彩色融合图像，依此类推。
进一步的，在本申请的其他实施例中，对于黑白图像来说，可以不是每一帧都进行缓存，也可以是间隔几个黑白图像再存储，参见图15b,图像预处理单元在输出彩色图像m-2时，同步单元指示缓存单元将最近一次缓存的黑白图像m-5从缓存单元输出，此时图像处理单元将彩色图像m-2和黑白图像m-5进行融合处理，得到彩色融合图像；图像预处理单元在输出黑白图像m-1时，同步单元指示缓存单元存储该黑白图像m-1，此时图像处理单元不进行处理；图像预处理单元在输出彩色图像m时，同步单元指示缓存单元将最近一次缓存的黑白图像m-1从缓存单元输出，此时图像处理单元将彩色图像m和黑白图像m-1进行融合处理，得到彩色融合图像，图像预处理单元在输出黑白图像m+1时，缓存单元和图像处理单元均不处理，图像预处理单元在输出彩色图像m+2时，同步单元指示缓存单元将最近一次缓存的黑白图像m-1从缓存单元输出，此时图像处理单元将彩色图像m+2和黑白图像m-1进行融合处理，得到彩色融合图像，依此类推。
进一步的，在本申请的其他实施例中，可以在一个帧周期同步输出第一目标图像和第二目标图像，具体方案如下：
参见图15c，所述同步单元，用于确定每一帧所述第一目标图像需要缓存，并且需要同步输出最近一次缓存的第二目标图像和最近一次缓存的第一目标图像；
其中，若所述第一目标图像为第二图像信号预处理后生成的图像，则所述缓存单元当前缓存第二图像信号预处理后生成的图像，并将最近一次缓存的第一图像信号预处理后生成的图像和最近一次缓存的第二图像信号预处理后生成的图像输出；
若所述第一目标图像信号为第一图像信号预处理后生成的图像，则所述缓存单元当前缓存第一图像信号预处理后生成的图像，并将最近一次缓存的第二图像信号预处理后生成的图像和最近一次缓存的第一图像信号预处理后生成的图像输出。
参见图15c，图15c中图像预处理单元在输出彩色图像m-2时，同步单元指示缓存单元存储该彩色图像m-2，图像处理单元不进行处理；图像预处理单元在输出黑白图像m-1时，同步单元指示缓存单元存储该黑白图像m-1，并将最近一次缓存的黑白图像m-3和彩色图像m-2从缓存单元中输出，此时图像处理单元将彩色图像m-2和黑白图像m-1进行融合处理，得到彩色融合图像；图像预处理单元在输出彩色图像m时，同步单元指示缓存单元存储该彩色图像m，图像处理单元不进行处理；图像预处理单元在输出黑白图像m+1时，同步单元指示缓存单元存储该黑白图像m+1，并将最近一次缓存的彩色图像m和最近一次缓存的黑白图像m-1从缓存单元输出，依此类推。
在本申请一实施例中，所述联合降噪单元，具体用于：
根据第一目标图像和第二目标图像之间的相关性，对所述第一目标图像和第二目标图像分别进行联合滤波处理，得到降噪后的第一目标图像和第二目标图像。
在本申请一实施例中，所述联合降噪单元，
包括时域降噪单元或空域降噪单元；
所述时域降噪单元用于根据所述第一目标图像和所述第二目标图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一目标图像进行时域滤波，得到所述降噪后的第一目标图像，根据所述运动估计结果对所述第二目标图像进行时域滤波，得到所述降噪后的第二目标图像；
所述空域降噪单元用于根据所述第一目标图像和所述第二目标图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一目标图像进行空域滤波，得到所述降噪后的第一目标图像，根据所述边缘估计结果对所述第二目标图像进行空域滤波，得到所述降噪后的第二目标图像。
在本申请另一实施例中，所述联合降噪单元包括时域降噪单元和空域降噪单元；
所述时域降噪单元用于根据所述第一目标图像和所述第二目标图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一目标图像进行时域滤波，得到第一时域降噪图像，根据所述运动估计结果对所述第二目标图像进行时域滤波，得到第二时域降噪图像；
所述空域降噪单元用于根据所述第一时域降噪图像和所述第二时域降噪图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一时域降噪图像进行空域滤波，得到所述降噪后的第一目标图像，根据所述边缘估计结果对所述第二时域降噪图像进行空域滤波，得到所述降噪后的第二目标图像；
或者，
所述空域降噪单元用于根据所述第一目标图像和所述第二目标图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一目标图像进行空域滤波，得到第一空域降噪图像，根据所述边缘估计结果对所述第二目标图像进行空域滤波，得到第二空域降噪图像；
所述时域降噪单元用于根据所述第一空域降噪图像和所述第二空域降噪图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一空域降噪图像进行时域滤波，得到所述降噪后的第一目标图像，根据所述运动估计结果对所述第二空域降噪图像进行时域滤波，得到所述降噪后的第二目标图像。
进一步的，在本申请一实施例中，参见图16，图像融合单元包括：色彩提取单元、亮度提取单元，分别与所述色彩提取单元和所述亮度提取单元连接的融合处理单元；
其中，所述色彩提取单元，用于提取所述第二图像信号预处理后的图像的色彩信号；
所述亮度提取单元，用于提取所述第二图像信号预处理后的图像的亮度信号；
所述融合处理单元，用于对所述第一图像信号预处理后的图像、所述第二图像信号预处理后的图像的色彩信号和亮度信号进行融合处理，得到所述彩色融合图像。
进一步的，融合处理单元，具体用于：
对所述第二图像信号预处理后的图像的亮度信息和所述第一图像信号预处理后的图像进行加权融合处理，得到融合亮度图像；
对所述融合亮度图像和所第二图像信号预处理后的图像的色彩信号进行融合处理，得到所述彩色融合图像。
上述方案中图像采集的结构简单，可以降低成本，而且可以在任一时间段内通过第一预设曝光和第二预设曝光同时采集到包含近红外光信息的第一图像信号和包含可见光信息的第二图像信号，后续根据该第一图像信号和第二图像信号进行融合处理，得到的彩色融合图像的质量较高，而且图像处理单元具有图像缓存功能，能够实现具有不同曝光时间段的图像之间的同步。
在本申请的一实施例中，根据参考如下公式(a)，对所述彩色图像进行降噪处理，得到降噪后的彩色图像；
根据如下公式(b)，对所述黑白图像进行降噪处理，得到降噪后的黑白图像；
其中，x、y表示任一当前像素点的坐标，img_vis(x+i,y+j)表示彩色图像中当前像素点对应的邻域内的像素点的像素值，img_vis'(x,y)表示彩色图像中当前像素点降噪后的像素值，img_nir(x+i,y+j)表示黑白图像中当前像素点对应的邻域内的像素点的像素值，img_nir'(x,y)表示黑白图像中当前像素点降噪后的像素值，s表示当前像素点对应的邻域大小，weight(x+i,y+j)＝weightvis(x+i,y+j)+weightnir(x+i,y+j)，weightvis(x+i,y+j)为彩色图像中当前像素点对应的权重，weightnir(x+i,y+j)为黑白图像中当前像素点对应的权重，weightnir(x+i,y+j)和weightvis(x+i,y+j)均可以通过
在本申请实施例中，参见图1，图像采集装置还可以包括镜头04，此时，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧。或者，镜头04位于滤光组件03与图像传感器01之间，且图像传感器01位于镜头04的出光侧。作为一种示例，第一滤光片031可以是滤光薄膜，这样，当滤光组件03位于镜头04和图像传感器01之间时，第一滤光片031可以贴在镜头04的出光侧的表面，或者，当镜头04位于滤光组件03与图像传感器01之间时，第一滤光片031可以贴在镜头04的入光侧的表面。
作为一种示例，图像采集装置可以是摄像机、抓拍机、人脸识别相机、读码相机、车载相机、全景细节相机等。
作为另一种示例，补光器02可以位于图像采集装置内，也可以位于图像采集装置的外部。补光器02可以为图像采集装置的一部分，也可以为独立于图像采集装置的一个器件。当补光器02位于图像采集的外部时，补光器02可以与图像采集装置进行通信连接，可以保证图像采集设备中的图像传感器01的曝光时序与补光器02包括的第一补光装置021的近红外补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的曝光时间段内不存在近红外补光。
另外，第一补光装置021为可以发出近红外光的装置，例如近红外补光灯等，第一补光装置021可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光，本申请实施例对此不做限定。在一些示例中，当第一补光装置021以频闪方式进行近红外补光时，可以通过手动方式来控制第一补光装置021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一补光装置021以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一补光装置021进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内存在近红外补光，而在第二预设曝光的曝光时间段内不存在近红外补光即可。
需要说明的是，第二预设曝光的曝光时间段内不存在近红外补光，对于全局曝光方式来说，第二预设曝光的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段，对于卷帘曝光方式来说，第二预设曝光的曝光时间段可以是第二图像信号第一行有效图像的开始曝光时刻与最后一行有效图像的结束曝光时刻之间的时间段，但并不局限于此。例如，第二预设曝光的曝光时间段也可以是第二图像信号中目标图像对应的曝光时间段，目标图像为第二图像信号中与目标对象或目标区域所对应的若干行有效图像，这若干行有效图像的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二预设曝光的曝光时间段。
需要说明的另一点是，由于第一补光装置021在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一滤光片031中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一滤光片031中。因此，在存在近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，在不存在近红外补光时通过第一滤光片031的近红外光可以包括第一补光装置021未进行近红外补光时经物体反射进入第一滤光片031的近红外光。也即是，在存在近红外补光时通过第一滤光片031的近红外光包括第一补光装置021发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不存在近红外补光时通过第一滤光片031的近红外光包括环境光中经物体反射后的近红外光。
以图像采集装置中，滤光组件03可以位于镜头04和图像传感器01之间，且图像传感器01位于滤光组件03的出光侧的结构特征为例，图像采集装置采集第一图像信号和第二图像信号的过程为：在图像传感器01进行第一预设曝光时，第一补光装置021存在近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由镜头04、第一滤光片031之后，由图像传感器01通过第一预设曝光产生第一图像信号；在图像传感器01进行第二预设曝光时，第一补光装置021不存在近红外补光，此时拍摄场景中的环境光经由镜头04、第一滤光片031之后，由图像传感器01通过第二预设曝光产生第二图像信号，在图像采集的一个帧周期内可以有m个第一预设曝光和n个第二预设曝光，第一预设曝光和第二预设曝光之间可以有多种组合的排序，在图像采集的一个帧周期中，m和n的取值以及m和n的大小关系可以根据实际需求设置，例如，m和n的取值可相等，也可不相同。
在一些实施例中，多次曝光是指一个帧周期内的多次曝光，也即是，图像传感器01在一个帧周期内进行多次曝光，从而产生并输出至少一帧第一图像信号和至少一帧第二图像信号。例如，1秒内包括25个帧周期，图像传感器01在每个帧周期内进行多次曝光，从而产生至少一帧第一图像信号和至少一帧第二图像信号，将一个帧周期内产生的第一图像信号和第二图像信号称为一组图像信号，这样，25个帧周期内就会产生25组图像信号。其中，第一预设曝光和第二预设曝光可以是一个帧周期内该多次曝光中相邻的两次曝光，也可以是一个帧周期内该多个次曝光中不相邻的两次曝光，本申请实施例对此不做限定。
另外，由于环境光中的近红外光的强度低于第一补光装置021发出的近红外光的强度，因此，第一补光装置021进行近红外补光时通过第一滤光片031的近红外光的强度高于第一补光装置021未进行近红外补光时通过第一滤光片031的近红外光的强度。
其中，第一补光装置021进行近红外补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米等，以减轻常见850nm红外灯的影响本申请实施例对此不做限定。
另外，入射到第一滤光片031的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。
由于在存在近红外补光时，通过第一滤光片031的近红外光可以包括第一补光装置021进行近红外光补光时经物体反射进入第一滤光片031的近红外光，以及环境光中的经物体反射后的近红外光。所以此时进入滤光组件03的近红外光的强度较强。但是，在不存在近红外补光时，通过第一滤光片031的近红外光包括环境光中经物体反射进入滤光组件03的近红外光。由于没有第一补光装置021进行补光的近红外光，所以此时通过第一滤光片031的近红外光的强度较弱。因此，根据第一预设曝光产生并输出的第一图像信号包括的近红外光的强度，要高于根据第二预设曝光产生并输出的第二图像信号包括的近红外光的强度。
第一补光装置021进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一补光装置021和第一滤光片031有更好的配合，可以对第一补光装置021进行近红外补光的中心波长进行设计，以及对第一滤光片031的特性进行选择，从而使得在第一补光装置021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一滤光片031的近红外光的中心波长尽可能准确，以及通过第一滤光片031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。
其中，第一补光装置021进行近红外补光的中心波长可以为第一补光装置021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一补光装置021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。
其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一补光装置021进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一补光装置021进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一补光装置021进行近红外补光的中心波长为940纳米，第一补光装置021进行近红外补光的波长和相对强度之间的关系如图17所示。从图17可以看出，第一补光装置021进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。
由于在存在近红外补光时，通过第一滤光片031的近红外光大部分为第一补光装置021进行近红外补光时经物体反射进入第一滤光片031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的中心波长与第一补光装置021进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。
其中，通过第一滤光片031的近红外补光的中心波长可以为第一滤光片031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一滤光片031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。
为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一滤光片031的近红外光的波段宽度，第二波段宽度是指被第一滤光片031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一滤光片031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。
例如，参见图18，图18为第一滤光片031可以通过的光的波长与通过率之间的关系的一种示意图。入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，第一滤光片031可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一滤光片031的近红外光的波段宽度小于第一滤光片031阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。
为了避免在非近红外补光的时间段内，通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一滤光片031的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。
为了避免通过第一滤光片031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。
例如，参见图18，入射到第一滤光片031的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图18可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。
由于第一补光装置021至少在第一预设曝光的部分曝光时间段内提供近红外补光，在第二预设曝光的整个曝光时间段内不提供近红外补光，而第一预设曝光和第二预设曝光为图像传感器01的多次曝光中的其中两次曝光，也即是，第一补光装置021在图像传感器01的部分曝光的曝光时间段内提供近红外补光，在图像传感器01的另外一部分曝光的曝光时间段内不提供近红外补光。所以，第一补光装置021在单位时间长度内的补光次数可以低于图像传感器01在该单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。
在一种可能的实现方式中，由于人眼容易将第一补光装置021进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参见图19，补光器02还可以包括第二补光装置022，第二补光装置022用于进行可见光补光。这样，如果第二补光装置022至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内存在近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将补光器02进行近红外补光的颜色与交通灯中的红灯的颜色混淆。另外，如果第二补光装置022在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。
在一些实施例中，第二补光装置022可以用于以常亮方式进行可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内存在可见光补光，在第二预设曝光的整个曝光时间段内不存在可见光补光；或者，第二补光装置022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不存在可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。当第二补光装置022常亮方式进行可见光补光时，不仅可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量。当第二补光装置022以频闪方式进行可见光补光时，可以避免人眼将第一补光装置021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第二补光装置022的补光次数，从而延长第二补光装置022的使用寿命。
需要说明的是，切换部件033用于将第二滤光片032切换到图像传感器01的入光侧，也可以理解为第二滤光片032替换第一滤光片031在图像传感器01的入光侧的位置。在第二滤光片032切换到图像传感器01的入光侧之后，第一补光装置021可以处于关闭状态也可以处于开启状态。通过增加切换部件和第二滤光片，能够兼容多种图像采集功能，提高了灵活性。
第一图像信号是第一预设曝光产生并输出的，第二图像信号是第二预设曝光产生并输出的，在产生并输出第一图像信号和第二图像信号之后，可以对第一图像信号和第二图像信号进行处理。在某些情况下，第一图像信号和第二图像信号的用途可能不同，所以在一些实施例中，第一预设曝光与第二预设曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。
在一些实施例中。可以理解的是，与第二预设曝光相比，在存在近红外补光时，图像传感器01感应到的近红外光的强度较强，相应地产生并输出的第一图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，图像传感器01输出的图像信号的亮度越高，曝光增益越小，图像传感器01输出的图像信号的亮度越低，因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。
在另一些实施例中，曝光时间越长，图像传感器01得到的图像信号包括的亮度越高，并且外部场景中的运动的对象在图像信号中的运动拖尾越长；曝光时间越短，图像传感器01得到的图像信号包括的亮度越低，并且外部场景中的运动的对象在图像信号中的运动拖尾越短。因此，为了保证第一图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第一图像信号中的运动拖尾较短。在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在第一补光装置021进行近红外补光时，图像传感器01产生并输出的第一图像信号包含的近红外光的亮度，不会因第一补光装置021进行近红外补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第一图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一预设曝光的曝光时间为40毫秒，第二预设曝光的曝光时间为60毫秒等。
值得注意的是，在一些实施例中，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。
在另一些实施例中，第一图像信号和第二图像信号的用途可以相同，例如第一图像信号和第二图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一预设曝光与第二预设曝光的至少一个曝光参数可以相同。作为一种示例，第一预设曝光的曝光时间可以等于第二预设曝光的曝光时间，如果第一预设曝光的曝光时间和第二预设曝光的曝光时间不同，会出现曝光时间较长的一路图像信号存在运动拖尾，导致两路图像信号的清晰度不同。同理，作为另一种示例，第一预设曝光的曝光增益可以等于第二预设曝光的曝光增益。
值得注意的是，在一些实施例中，当第一预设曝光的曝光时间等于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。同理，当第一预设曝光的曝光增益等于第二预设曝光的曝光增益时，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间，也可以等于第二预设曝光的曝光时间。
其中，图像传感器01可以包括多个感光通道，每个感光通道可以用于感应至少一种可见光波段的光，以及感应近红外波段的光。也即是，每个感光通道既能感应至少一种可见光波段的光，又能感应近红外波段的光。在一种可能的实现方式中，该多个感光通道可以用于感应至少两种不同的可见光波段的光。
在一些实施例中，该多个感光通道可以包括r感光通道、g感光通道、b感光通道、y感光通道、w感光通道和c感光通道中的至少两种。其中，r感光通道用于感应红光波段和近红外波段的光，g感光通道用于感应绿光波段和近红外波段的光，b感光通道用于感应蓝光波段和近红外波段的光，y感光通道用于感应黄光波段和近红外波段的光。由于在一些实施例中，可以用w来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用c来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是w感光通道，也可以是c感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。示例性地，图像传感器01可以为rgb传感器、rgbw传感器，或rccb传感器，或ryyb传感器。其中，rgb传感器中的r感光通道、g感光通道和b感光通道的分布方式可以参见图20，rgbw传感器中的r感光通道、g感光通道、b感光通道和w感光通道的分布方式可以参见图21，rccb传感器中的r感光通道、c感光通道和b感光通道分布方式可以参见图22，ryyb传感器中的r感光通道、y感光通道和b感光通道分布方式可以参见图23。
在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光。作为一种示例，该多个感光通道可以包括r感光通道、g感光通道、b感光通道、ir感光通道中的至少两种。其中，r感光通道用于感应红光波段和近红外波段的光，g感光通道用于感应绿光波段和近红外波段的光，b感光通道用于感应蓝光波段和近红外波段的光，ir感光通道用于感应近红外波段的光。
示例地，图像传感器01可以为rgbir传感器，其中，rgbir传感器中的每个ir感光通道都可以感应近红外波段的光，而不感应可见光波段的光。
其中，当图像传感器01为rgb传感器时，相比于其他图像传感器，如rgbir传感器等，rgb传感器采集的rgb信息更完整，rgbir传感器有一部分的感光通道采集不到可见光，所以rgb传感器采集的图像的色彩细节更准确。
值得注意的是，图像传感器01包括的多个感光通道可以对应多条感应曲线。示例性地，参见图24，图24中的r曲线代表图像传感器01对红光波段的光的感应曲线，g曲线代表图像传感器01对绿光波段的光的感应曲线，b曲线代表图像传感器01对蓝光波段的光的感应曲线，w(或者c)曲线代表图像传感器01感应全波段的光的感应曲线，nir(nearinfrared，近红外光)曲线代表图像传感器01感应近红外波段的光的感应曲线。
作为一种示例，图像传感器01可以采用全局曝光方式，也可以采用卷帘曝光方式。其中，全局曝光方式是指每一行有效图像的曝光开始时刻均相同，且每一行有效图像的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效图像同时进行曝光并且同时结束曝光的一种曝光方式。卷帘曝光方式是指不同行有效图像的曝光时间不完全重合，也即是，一行有效图像的曝光开始时刻都晚于上一行有效图像的曝光开始时刻，且一行有效图像的曝光结束时刻都晚于上一行有效图像的曝光结束时刻。另外，卷帘曝光方式中每一行有效图像结束曝光后可以进行数据输出，因此，从第一行有效图像的数据开始输出时刻到最后一行有效图像的数据结束输出时刻之间的时间可以表示为读出时间。
示例性地，参见图25，图25为一种卷帘曝光方式的示意图。从图10可以看出，第1行有效图像在t1时刻开始曝光，在t3时刻结束曝光，第2行有效图像在t2时刻开始曝光，在t4时刻结束曝光，t2时刻相比于t1时刻向后推移了一个时间段，t4时刻相比于t3时刻向后推移了一个时间段。另外，第1行有效图像在t3时刻结束曝光并开始输出数据，在t5时刻结束数据的输出，第n行有效图像在t6时刻结束曝光并开始输出数据，在t7时刻结束数据的输出，则t3～t7时刻之间的时间即为读出时间。
在一些实施例中，当图像传感器01采用全局曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。这样，即可实现至少在第一预设曝光的部分曝光时间段内存在近红外补光，在第二预设曝光的整个曝光时间段内不存在近红外补光，从而不会对第二预设曝光造成影响。
例如，参见图26，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集。参见图27，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段与第一预设曝光的曝光时间段存在交集。参见图28，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，第一预设曝光的曝光时间段是近红外补光的子集。
在另一些实施例中，当图像传感器01采用卷帘曝光方式进行多次曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集。并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。
例如，参见图29，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。参见图30，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。参见图31，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。图29至图31仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。图29至图31中，针对第一预设曝光和第二预设曝光，倾斜虚线表示曝光开始时刻，倾斜实线表示曝光结束时刻，针对第一预设曝光，竖直虚线之间表示第一预设曝光对应的近红外补光的时间段。
其中，多次曝光可以包括奇数次曝光和偶数次曝光，这样，第一预设曝光和第二预设曝光可以包括但不限于如下几种方式：
第一种可能的实现方式，第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光。这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第一预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第二预设曝光。
第二种可能的实现方式，第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光，这样，多次曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第二预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第一预设曝光。
第三种可能的实现方式，第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。
第四种可能的实现方式，第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次曝光中的奇数次曝光，也可以为多次曝光中的偶数次曝光。
第五种可能的实现方式，第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光。
第六种可能的实现方式，第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光。
其中，上述多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为该多个曝光序列中的同一个曝光序列或者两个不同的曝光序列，每个曝光序列包括n次曝光，该n次曝光包括1次第一预设曝光和n-1次第二预设曝光，或者，该n次曝光包括1次第二预设曝光和n-1次第二预设曝光，n为大于2的正整数。
例如，每个曝光序列包括3次曝光，这3次曝光可以包括1次第一预设曝光和2次第二预设曝光，这样，每个曝光序列的第1次曝光可以为第一预设曝光，第2次和第3次曝光为第二预设曝光。也即是，每个曝光序列可以表示为：第一预设曝光、第二预设曝光、第二预设曝光。或者，这3次曝光可以包括1次第二预设曝光和2次第一预设曝光，这样，每个曝光序列的第1次曝光可以为第二预设曝光，第2次和第3次曝光为第一预设曝光。也即是，每个曝光序列可以表示为：第二预设曝光、第一预设曝光、第一预设曝光。
上述仅提供了六种第一预设曝光和第二预设曝光的可能的实现方式，实际应用中，不限于上述六种可能的实现方式，本申请实施例对此不做限定。
综上，当环境光中的可见光强度较弱时，例如夜晚，可以通过第一补光装置021频闪式的补光，使图像传感器01产生并输出包含近红外亮度信息的第一图像信号，以及包含可见光亮度信息的第二图像信号，且由于第一图像信号和第二图像信号均由同一个图像传感器01获取，所以第一图像信号的视点与第二图像信号的视点相同，从而通过第一图像信号和第二图像信号可以获取完整的外部场景的信息。在可见光强度较强时，例如白天，白天近红外光的占比比较强，采集的图像的色彩还原度不佳，可以通过图像传感器01产生并输出的包含可见光亮度信息的第三图像信号，这样即使白天，也可以采集到色彩还原度比较好的图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息。
本申请利用图像传感器的曝光时序来控制补光装置的近红外补光时序，以便在第一预设曝光的过程中进行近红外补光并产生第一图像信号，在第二预设曝光的过程中不进行近红外补光并产生第二图像信号，这样的数据采集方式，可以在结构简单、降低成本的同时直接采集到亮度信息不同的第一图像信号和第二图像信号，也即通过一个图像传感器就可以获取两种不同的图像信号，使得该图像采集装置更加简便，进而使得获取第一图像信号和第二图像信号也更加高效。并且，第一图像信号和第二图像信号均由同一个图像传感器产生并输出，所以第一图像信号对应的视点与第二图像信号对应的视点相同。因此，通过第一图像信号和第二图像信号可以共同获取外部场景的信息，且不会存在因第一图像信号对应的视点与第二图像信号对应的视点不相同，而导致根据第一图像信号和第二图像信号生成的图像不对齐。
进一步的，本申请一些实施例中降噪处理可参见以下方案：
在一些可能的实现方式中，参见图32，联合降噪单元可以包括时域降噪单元021。其中，时域降噪单元021用于根据第一图像信号和所述第二图像信号进行运动估计，得到运动估计结果，根据运动估计结果对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据运动估计结果对第二图像信号进行时域滤波处理，得到可见光降噪图像。
需要说明的是，参见图33，该时域降噪单元021可以包括运动估计单元0211和时域滤波单元0212。
在一些示例中，该运动估计单元0211可以用于根据第一图像信号和第一历史降噪图像生成第一帧差图像，根据第一帧差图像和多个第一设定帧差阈值确定第一图像信号中每个像素点的第一时域滤波强度，其中，第一历史降噪图像是指对所述第一图像信号的前n帧图像中的任一帧图像进行降噪后的图像；该时域滤波单元0212用于根据每个像素点的第一时域滤波强度对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据每个像素点的第一时域滤波强度对第二图像信号进行时域滤波处理，得到可见光降噪图像。
示例性地，该运动估计单元0211可以将第一图像信号中的每个像素点和第一历史降噪图像中对应的像素点进行作差处理，得到原始帧差图像，将该原始帧差图像作为第一帧差图像。
或者，该运动估计单元0211可以将第一图像信号中的每个像素点和第一历史降噪图像中对应的像素点进行作差处理，得到原始帧差图像。之后，对该原始帧差图像进行处理，从而得到第一帧差图像。其中，对原始帧差图像进行处理，可以是指对原始帧差图像进行空域平滑处理或分块量化处理。
在得到第一帧差图像之后，该运动估计单元0211可以根据第一帧差图像中的每个像素点和多个第一设定帧差阈值确定每个像素点的第一时域滤波强度。其中，第一帧差图像中的每个像素点均对应的一个第一设定帧差阈值，且各个像素点对应的第一设定帧差阈值有可能相同，也可能不同。在一种可能的实现方式中，每个像素点对应的第一设定帧差阈值可以由外部用户自行进行设置。在另一种可能的实现方式中，该运动估计单元0211可以将第一图像信号的上一帧图像与第一历史降噪图像进行作差处理，从而得到第一噪声强度图像，根据第一噪声强度图像中每个像素点的噪声强度确定第一帧差图像中相应位置处的像素点的第一设定帧差阈值。当然，每个像素点对应的第一设定帧差阈值也可以通过其他方式确定得到，本申请实施例对此不做限定。
对于第一帧差图像中的每个像素点，该运动估计单元0211可以根据该像素点的帧差和该像素点对应的第一设定帧差阈值，通过下述公式(1)来确定得到相应像素点的第一时域滤波强度。
其中，(x,y)为像素点在图像中的位置；αnir(x,y)是指坐标为(x,y)的像素点的第一时域滤波强度，difnir(x,y)是指该像素点在第一帧差图像中的帧差，dif_thrnir(x,y)是指该像素点对应的第一设定帧差阈值。
需要说明的是，对于第一帧差图像中的每个像素点，像素点的帧差相较于第一设定帧差阈值越小，则说明该像素点越趋向于静止，也即，该像素点所对应的运动级别越小。而由上述公式(1)可知，对于任意一个像素点，该像素点的帧差相对于第一设定帧差阈值越小，则该像素点的第二时域滤波强度越大。其中，运动级别用于指示运动的剧烈程度，运动级别越大，则说明运动越剧烈。第一时域滤波强度的取值可以在0到1之间。
在确定第一图像信号中每个像素点的第一时域滤波强度之后，则时域滤波单元0212可以直接根据第一时域滤波强度分别对第一图像信号和第二图像信号进行时域滤波处理，从而得到近红外光降噪图像和可见光降噪图像。
需要说明的是，当第一图像信号的图像质量明显优于第二图像信号时，由于第一图像信号是近红外光图像，具有高信噪比，因此，利用第一图像信号中每个像素点的第一时域滤波强度对第二图像信号进行时域滤波处理，可以更为准确的区分图像中的噪声和有效信息，从而避免降噪后的图像中图像细节信息的损失以及图像拖尾的问题。
需要说明的是，在一些可能的情况中，运动估计单元0211可以根据第一图像信号和至少一个第一历史降噪图像生成至少一个第一帧差图像，并根据至少一个帧差图像和每个帧差图像对应的多个第一设定帧差阈值确定第一图像信号中每个像素点的第一时域滤波强度。
其中，至少一个历史降噪图像是指对所述第一图像信号的前n帧图像进行降噪得到的图像。对于该至少一个第一历史降噪图像中的每个第一历史降噪图像，该运动估计单元0211可以根据该第一历史降噪图像和第一图像信号，参考前述介绍的相关实现方式来确定对应的第一帧差图像。之后，该运动估计单元0211可以根据每个第一帧差图像以及每个第一帧差图像对应的多个第一设定帧差阈值，参考前述相关实现方式确定每个第一帧差图像中每个像素点的时域滤波强度。之后，该运动估计单元0211可以将对各个第一帧差图像中相对应的像素点的时域滤波强度进行融合，从而得到每个像素点对应的第一时域滤波强度。或者，对于任一像素点，运动估计单元0211可以从至少一个第一帧差图像中该像素点的至少一个时域滤波强度中选择所表示的运动级别最大的时域滤波强度，进而将选择的时域滤波强度作为该像素点的第一时域滤波强度。
在另一些示例中，该运动估计单元0211可以根据第一图像信号和第一历史降噪图像生成第一帧差图像，根据第一帧差图像和多个第一设定帧差阈值确定第一图像信号中每个像素点的第一时域滤波强度，第一历史降噪图像是指对第一图像信号的前n帧图像中的任一帧图像进行降噪后的图像；运动估计单元0211还用于根据第二图像信号和第二历史降噪图像生成第二帧差图像，根据第二帧差图像和多个第二设定帧差阈值确定第二图像信号中每个像素点的第二时域滤波强度，第二历史降噪图像是指对第二图像信号的前n帧图像中的任一帧图像进行降噪后的图像；运动估计单元0211还用于根据第一图像信号中每个像素点的第一时域滤波强度和第二图像信号中每个像素点的第二时域滤波强度确定每个像素点的联合时域滤波强度；时域滤波单元0212用于根据每个像素点的第一时域滤波强度或联合时域滤波强度对第一图像信号进行时域滤波处理，得到近红外光降噪图像，根据每个像素点的联合时域滤波强度对第二图像信号进行时域滤波处理，得到可见光降噪图像。
也即，运动估计单元0211不仅可以通过前述介绍的实现方式确定第一图像信号中每个像素点的第一时域滤波强度，还可以确定第二图像信号中每个像素点的第二时域滤波强度。
在确定每个像素点的第二时域滤波强度时，该运动估计单元0211可以首先将第二图像信号中的每个像素点和第二历史降噪图像中对应的像素点进行作差处理，得到第二帧差图像。其中，除此之外，第一图像信号和第二图像信号是对齐的。
在得到第二帧差图像之后，该运动估计单元0211可以根据第二帧差图像中的每个像素点和多个第二设定帧差阈值确定每个像素点的第二时域滤波强度。其中，第二帧差图像中的每个像素点均对应的一个第二设定帧差阈值，也即，多个第二设定帧差阈值与第二帧差图像中的每个像素点一一对应。并且，各个像素点对应的第二设定帧差阈值有可能相同，也可能不同。在一种可能的实现方式中，每个像素点对应的第二设定帧差阈值可以由外部用户自行进行设置。在另一种可能的实现方式中，该运动估计单元0211可以将第二图像信号的上一帧图像与第二历史降噪图像进行作差处理，从而得到第二噪声强度图像，根据第二噪声强度图像中每个像素点的噪声强度确定第二帧差图像中相应位置处的像素点的第二设定帧差阈值。当然，每个像素点对应的第二设定帧差阈值也可以通过其他方式确定得到，本申请实施例对此不做限定。
对于第二帧差图像中的每个像素点，该运动估计单元0211可以根据该像素点的帧差和该像素点对应的第二设定帧差阈值，通过下述公式(2)来确定得到相应像素点的第二时域滤波强度。
其中，αvis(x,y)是指坐标为(x,y)的像素点的第二时域滤波强度，difvis(x,y)表示该像素点在第二帧差图像中的帧差，dif_thrvis(x,y)表示该像素点对应的第二设定帧差阈值。
需要说明的是，对于第二帧差图像中的每个像素点，像素点的帧差相对于第二设定帧差阈值越小，则说明该像素点越趋向于静止，也即，该像素点的运动级别越小。而由上述公式(2)可知，对于任意一个像素点，该像素点的帧差相对于第二设定帧差阈值越小，则该像素点的第二时域滤波强度越大。综上可知，在本申请实施例中，像素点的运动级别越小，则对应的第二时域滤波强度的取值越大。其中，第二时域滤波强度的取值可以在0到1之间。
在确定每个像素点的第一时域滤波强度和第二时域滤波强度之后，该运动估计单元0211可以每个像素点的第一时域滤波强度和第二时域滤波强度进行加权，从而得到每个像素点的联合时域权重。此时，确定的每个像素点的联合时域权重即为第一图像信号和第二图像信号的运动估计结果。
示例性地，该运动估计单元0211可以通过下式(3)来对每个像素点的第一时域滤波强度和第二时域滤波强度进行加权，从而得到每个像素点的联合时域滤波强度。
其中，ω是指以坐标为(x,y)的像素点为中心的邻域范围，也即，以坐标为(x,y)的像素点为中心的局部图像区域，(x+i,y+j)是指该局部图像区域内的像素点坐标，
需要说明的是，第一时域滤波强度可以用于表示像素点在第一图像信号中的运动级别，第二时域滤波强度可以用于表示像素点在第二图像信号中的运动级别，而通过上述方式确定的联合时域滤波强度同时融合了第一时域滤波强度和第二时域滤波强度，也即，该联合时域滤波强度同时考虑了该像素点在第一图像信号中表现出的运动趋势以及在第二图像信号中表现出的运动趋势。这样，相较于第一时域滤波强度或第二时域滤波强度，该联合时域滤波强度能够更加准确的表征像素点的运动趋势，这样，后续以该联合时域滤波强度进行时域滤波时，可以更有效的去除图像噪声，并且，可以避免由于对像素点的运动级别的误判所导致的图像拖尾等问题。
在一些示例中，在确定每个像素点的第一时域滤波强度和第二时域滤波强度之后，对于任一像素点，该运动估计单元可以从该像素点的第一时域滤波强度和第二时域滤波强度中选择一个时域滤波强度作为该像素点的联合时域滤波权重。其中，在选择时，可以选择两个时域滤波强度中表征该像素点的运动级别较大的一个时域滤波强度作为联合时域滤波强度。
在确定每个像素点的联合时域滤波强度之后，时域滤波单元0212可以根据该联合时域滤波强度对第一图像信号和第二图像信号分别进行时域滤波处理，从而得到近红外光降噪图像和可见光降噪图像。
示例性地，时域滤波单元0212可以根据每个像素点的联合时域滤波强度，通过下述公式(4)对第一图像信号和第一历史降噪图像中的每个像素点进行时域加权处理，从而得到近红外光降噪图像，根据每个像素点的联合时域滤波强度，通过下述公式(5)对第二图像信号和第二历史降噪图像中的每个像素点进行时域加权处理，从而得到可见光降噪图像。
其中，
或者，考虑到第一图像信号为具有高信噪比的近红外光信号，该时域滤波单元0212也可以根据每个像素点的第一时域滤波强度对第一图像信号进行时域滤波，得到近红外光图像，根据每个像素点的联合时域滤波强度对第二图像信号进行时域滤波处理，从而得到可见光图像。
需要说明的是，由前述对于时域滤波强度与运动级别的关系的介绍可知，在本申请实施例中，对于第一图像信号和第二图像信号中运动越激烈的区域，可以采用越小的时域滤波强度对其进行滤波。
在另一些可能的实现方式中，参见图32，该联合降噪单元可以包括空域降噪单元022。其中，该空域降噪单元022用于根据第一图像信号和第二图像信号进行边缘估计，得到边缘估计结果，根据边缘估计结果对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据边缘估计结果对第二图像信号进行空域滤波处理，得到可见光降噪图像。
需要说明的是，参见图34，该空域降噪单元022可以包括边缘估计单元0221和空域滤波单元0222。
在一些示例中，该边缘估计单元0221用于确定第一图像信号中每个像素点的第一空域滤波强度；该空域滤波单元0222用于根据每个像素点对应的第一空域滤波强度对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据每个像素点对应的第一空域滤波强度对第二图像信号进行空域滤波处理，得到可见光降噪图像。
示例性地，该边缘估计单元0221可以根据第一图像信号的每个像素点与其邻域内的其他像素点之间的差异，确定相应像素点的第一空域滤波强度。其中，该边缘估计单元0221可以通过下式(6)来生成每个像素点的第一空域滤波强度。
其中，ω是指以坐标为(x,y)的像素点为中心的邻域范围，也即，以坐标为(x,y)的像素点为中心的局部图像区域。(x+i,y+j)是指该局部图像区域内的像素点坐标，imgnir(x,y)是指第一图像信号中坐标为(x,y)的像素点的像素值，δ1和δ2是指高斯分布标准差，
在确定每个像素点的多个第一空域滤波强度之后，空域滤波单元0222可以根据每个像素点的多个第一空域滤波强度分别对第一图像信号和第二图像信号进行空域滤波处理，从而得到近红外光降噪图像和可见光降噪图像。
在另一些示例中，该边缘估计单元0221用于确定第一图像信号中每个像素点的第一空域滤波强度，确定第二图像信号中每个像素点的第二空域滤波强度；对第一图像信号进行局部信息提取，得到第一局部信息，对第二图像信号进行局部信息提取，得到第二局部信息；根据第一空域滤波强度、第二空域滤波强度、第一局部信息和第二局部信息确定每个像素点对应的联合空域滤波强度；该空域滤波单元0222用于根据每个像素点对应的第一空域滤波强度对第一图像信号进行空域滤波处理，得到近红外光降噪图像，根据每个像素点对应的联合空域滤波强度对第二图像信号进行空域滤波处理，得到可见光降噪图像。其中，第一局部信息和第二局部信息包括局部梯度信息、局部亮度信息和局部信息熵中的至少一种。
也即，该边缘估计单元0221不仅可以通过前述介绍的实现方式确定第一图像信号中每个像素点的第一空域滤波强度，还可以确定第二图像信号中每个像素点的第二时域滤波强度。
在确定每个像素点的第二空域滤波强度时，该边缘估计单元0221可以根据第二图像信号的每个像素点与其邻域内的其他像素点之间的差异，确定相应像素点的第二空域滤波强度。其中，该边缘估计单元0221可以通过下式(7)来生成每个像素点的第一空域滤波强度。
其中，ω是指以坐标为(x,y)的像素点为中心的邻域范围，也即，以坐标为(x,y)的像素点为中心的局部图像区域。(x+i,y+j)是指该局部图像区域内的像素点坐标，imgvis(x,y)是指第二图像信号中坐标为(x,y)的像素点的像素值，δ1和δ2是指高斯分布标准差，
由上述公式6和7可知，对于以坐标为(x,y)的像素点为中心的局部图像区域，该像素点与该局部图像区域内的像素点之间的差异越小，则该像素点对应的多个空域滤波强度越大。也即，该像素点的空域滤波强度的大小与该像素点与对应的局部图像区域内的像素点之间的差异大小呈负相关。
在确定每个像素点的第一空域滤波强度和第二空域滤波强度之后，边缘估计单元0221可以利用sobel边缘检测算子分别对第一图像信号和第二图像信号进行卷积处理，得到第一纹理图像和第二纹理图像，并以此为权重对每个像素点的多个第一空域滤波强度和多个第二空域滤波强度进行加权处理，生成每个像素点在局部图像区域内的多个联合空域滤波强度。其中，第一纹理图像即为第一局部信息，第二纹理图像即为第二局部信息。
示例性地，sobel边缘检测算子如下式(8)所示。边缘估计单元0221可以通过下式(9)来生成联合空域滤波强度。
其中，sobelh是指水平方向上的sobel边缘检测算子，sobelv是指垂直方向上的sobel边缘检测算子；βfus(x+i,y+j)是指坐标为(x,y)的像素点在其邻域范围ω内的任一联合空域滤波强度，▽gnir(x,y)是指第一纹理图像中坐标为(x,y)的像素点的纹理信息，▽gvis(x,y)是指第二纹理图像中坐标为(x,y)的像素点的纹理信息。
需要说明的是，在确定联合空域滤波强度时，通过边缘检测算子进行了相应处理，所以，最终得到的每个像素点的多个联合空域滤波强度越小，则表明该像素点与局部图像区域内的其他像素点之间的差异越大，因此可见，在本申请实施例中，图像中相邻像素点亮度差异越大的区域，联合空域滤波强度越小，而相邻像素点亮度差异较小的区域，联合空域滤波强度则相对较大。也即，在本申请实施例中，在进行空域滤波时，在边缘采用较弱的滤波强度，在非边缘采用较强的滤波强度，从而提高了降噪效果。
在得到联合空域滤波强度之后，时域滤波单元0212可以根据联合空域滤波强度分别对第一修复图像和第二修复图像进行空域滤波处理，从而得到近红外光降噪图像和可见光降噪图像。
或者，考虑到第一图像信号是具有高信噪比的近红外光图像，因此，在第一图像信号的质量明显优于第二图像信号时，无需利用第二图像信号的边缘信息来辅助第一图像信号进行空域滤波处理。在这种情况下，该空域滤波单元0222可以根据每个像素点的第一空域滤波强度对第一图像信号进行空域滤波处理。根据每个像素点的联合空域滤波强度对第二图像信号进行空域滤波处理。
示例性地，该空域滤波单元0222可以根据每个像素点的第一空域滤波强度通过下述公式(10)来对第一图像信号中的每个像素点进行空域加权处理，从而得到近红外光降噪图像，根据每个像素点的联合时域滤波强度，通过下述公式(11)对第二图像信号中的每个像素点进行加权处理，从而得到可见光降噪图像。
其中，
值得注意的是，在本申请实施例中，图像降噪单元02也可以同时包括上述的时域降噪单元021和空域降噪单元022。在这种情况下，可以参照前述介绍的相关实现方式，先通过时域降噪单元021对第一图像信号和第二图像信号进行时域滤波，得到的第一时域降噪图像和第二时域降噪图像。之后，再由空域降噪单元022对得到的第一时域降噪图像和第二时域降噪图像进行空域滤波，从而得到近红外光降噪图像和可见光降噪图像。或者，可以先由空域降噪单元022对第一图像信号和第二图像信号进行空域滤波，得到第一空域降噪图像和第二空域降噪图像。之后，再由时域降噪单元021对得到的第一空域降噪图像和第二空域降噪图像进行时域滤波，从而得到近红外光降噪图像和可见光降噪图像。
综上，图像采集装置通过图像传感器多次曝光和补光装置频闪补光生成多幅具有不同光谱范围的图像，扩展图像传感器能够接收到的光谱范围，扩展单传感器的图像采集能力，提升不同场景下的图像质量。
本申请实施例中还提供一种图像融合方法，应用于图1-34所示的实施例提供的图像融合设备，所述图像融合设备包括图像传感器、补光器、滤光组件和处理器，所述图像传感器位于所述滤光组件的出光侧，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片，所述处理器包括：缓存单元和图像处理单元，参见图35，所述方法包括：
步骤3201、通过所述第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为图像传感器的多次曝光中的其中两次曝光；
步骤3202、通过所述第一滤光片使可见光波段的光和部分近红外光通过；
步骤3203、通过所述图像传感器采用全局曝光方式进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号；
步骤3204、通过缓存单元，在获知图像传感器当前输出的第一目标图像信号需要缓存时，将第一目标图像信号进行缓存，以及在获知需要同步输出已缓存的第二目标图像信号时，至少将已缓存的第二目标图像信号同步输出至图像处理单元；其中，若第一目标图像信号为第一图像信号，第二目标图像信号为已缓存的一帧第二图像信号，或者第一目标图像信号为第二图像信号，第二目标图像信号为已缓存的一帧第一图像信号；
步骤3205、通过所述图像处理单元至少接收所述图像传感器当前输出的第一目标图像信号，以及至少接收所述缓存单元同步输出的第二目标图像信号，根据所述第一目标图像信号和所述第二目标图像信号生成彩色融合图像。
在一种可能的实现方式中，所述同步单元确定所述图像传感器当前输出的第一目标图像信号需要缓存时，指示缓存单元将所述第一目标图像信号进行缓存，以及从已缓存的图像信号中确定需要同步输出第二目标图像信号时，指示缓存单元将所述第二目标图像信号同步输出至所述图像处理单元。
在一种可能的实现方式中，所述图像处理单元根据所述第一目标图像信号和所述第二目标图像信号生成彩色融合图像，包括：
图像预处理单元将所述第一目标图像信号经预处理后生成第一目标图像，将所述第二目标图像信号经预处理后生成第二目标图像；
所述图像融合单元将所述第一目标图像和所述第二目标图像进行融合处理，得到所述彩色融合图像。
在一种可能的实现方式中，图像预处理单元将所述第一目标图像信号经预处理后生成第一目标图像，将所述第二目标图像信号经预处理后生成第二目标图像，包括：
所述第一预处理单元对所述第一目标图像信号进行第一预处理操作，得到预处理后的第一目标图像；
所述第二预处理单元对所述第二目标图像信号进行第二预处理操作，得到第二目标图像；
所述联合降噪单元对所述第一目标图像和所述第二目标图像进行滤波处理，得到降噪后的第一目标图像和第二目标图像，所述降噪后的第一目标图像和第二目标图像用于进行融合处理，得到所述彩色融合图像。
在一种可能的实现方式中，所述同步单元确定所述图像传感器当前输出的第一目标图像信号需要缓存时，指示缓存单元将所述第一目标图像信号进行缓存，以及从已缓存的图像信号中确定需要同步输出第二目标图像信号时，指示缓存单元将所述第二目标图像信号同步输出至所述图像处理单元，包括：
所述同步单元确定每一帧所述第一目标图像信号需要缓存，并且需要同步输出所述第二目标图像信号，所述第二目标图像信号为所述缓存单元前一次缓存的图像信号；
其中，若所述第一目标图像信号为第二图像信号，则所述缓存单元当前缓存第二图像信号，并将前一次缓存的第一图像信号确定为所述第二目标图像信号输出至图像预处理单元；
若所述第一目标图像信号为第一图像信号，则所述缓存单元当前缓存第一图像信号，并将前一次缓存的第二图像信号确定为所述第二目标图像信号输出至图像预处理单元。
在一种可能的实现方式中，所述同步单元确定所述图像传感器当前输出的第一目标图像信号需要缓存时，指示缓存单元将所述第一目标图像信号进行缓存，以及从已缓存的图像信号中确定需要同步输出第二目标图像信号时，指示缓存单元将所述第二目标图像信号同步输出至所述图像处理单元，包括：
所述同步单元确定所述第一目标图像信号为第一图像信号时需要缓存，以及在确定所述第一目标图像信号为第二图像信号时，需要同步输出所述第二目标图像信号，所述第二目标图像信号为所述缓存单元已缓存的图像信号中最近一次缓存的第一图像信号；其中，若所述第一目标图像信号为第二图像信号，则所述缓存单元将最近一次缓存的第一图像信号确定为所述第二目标图像信号输出至图像预处理单元；若所述第一目标图像信号为第一图像信号，则所述缓存单元缓存所述第一图像信号；或者，
所述同步单元确定所述第一目标图像信号为第二图像信号时需要缓存，以及在确定所述第一目标图像信号为第一图像信号时，需要同步输出所述第二目标图像信号，所述第二目标图像信号为所述缓存单元已缓存的第二图像信号中最近一次缓存的第二图像信号；其中，若所述第一目标图像信号为第一图像信号，则所述缓存单元将最近一次缓存的第二图像信号确定为所述第二目标图像信号输出至图像预处理单元；若所述第一目标图像信号为第二图像信号，则所述缓存单元缓存所述第二图像信号。
在一种可能的实现方式中，所述图像融合单元将所述第一目标图像和所述第二目标图像进行融合处理，得到所述彩色融合图像，包括：
所述色彩提取单元提取所述第二图像信号预处理后的图像的色彩信号；
所述亮度提取单元提取所述第二图像信号预处理后的图像的亮度信号；
所述融合处理单元对所述第一图像信号预处理后的图像、所述第二图像信号预处理后的图像的色彩信号和亮度信号进行融合处理，得到所述彩色融合图像。
在一种可能的实现方式中，所述融合处理单元对所述第一图像信号预处理后的图像、所述第二图像信号预处理后的图像的色彩信号和亮度信号进行融合处理，得到所述彩色融合图像，包括：
对所述第二图像信号预处理后的图像的亮度信息和所述第一图像信号预处理后的图像进行加权融合处理，得到融合亮度图像；
对所述融合亮度图像和所第二图像信号预处理后的图像的色彩信号进行融合处理，得到所述彩色融合图像。
在一种可能的实现方式中，所述联合降噪单元对所述第一目标图像和所述第二目标图像进行滤波处理，得到降噪后的第一目标图像和第二目标图像，包括：
根据第一目标图像和第二目标图像之间的相关性，对所述第一目标图像和第二目标图像分别进行联合滤波处理，得到所述降噪后的第一目标图像和第二目标图像。
在一种可能的实现方式中，所述联合降噪单元对所述第一目标图像和所述第二目标图像进行滤波处理，得到降噪后的第一目标图像和第二目标图像，包括：
所述时域降噪单元根据所述第一目标图像和所述第二目标图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一目标图像进行时域滤波，得到所述降噪后的第一目标图像，根据所述运动估计结果对所述第二目标图像进行时域滤波，得到所述降噪后的第二目标图像；
所述空域降噪单元根据所述第一目标图像和所述第二目标图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一目标图像进行空域滤波，得到所述降噪后的第一目标图像，根据所述边缘估计结果对所述第二目标图像进行空域滤波，得到所述降噪后的第二目标图像。
在一种可能的实现方式中，所述联合降噪单元对所述第一目标图像和所述第二目标图像进行滤波处理，得到降噪后的第一目标图像和第二目标图像，包括：
所述时域降噪单元根据所述第一目标图像和所述第二目标图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一目标图像进行时域滤波，得到第一时域降噪图像，根据所述运动估计结果对所述第二目标图像进行时域滤波，得到第二时域降噪图像；
所述空域降噪单元根据所述第一时域降噪图像和所述第二时域降噪图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一时域降噪图像进行空域滤波，得到所述降噪后的第一目标图像，根据所述边缘估计结果对所述第二时域降噪图像进行空域滤波，得到所述降噪后的第二目标图像；
或者，
所述空域降噪单元根据所述第一目标图像和所述第二目标图像进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一目标图像进行空域滤波，得到第一空域降噪图像，根据所述边缘估计结果对所述第二目标图像进行空域滤波，得到第二空域降噪图像；
所述时域降噪单元根据所述第一空域降噪图像和所述第二空域降噪图像进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一空域降噪图像进行时域滤波，得到所述降噪后的第一目标图像，根据所述运动估计结果对所述第二空域降噪图像进行时域滤波，得到所述降噪后的第二目标图像。
在一种可能的实现方式中，滤光组件还可以包括第二滤光片和切换部件，此时，还可以通过切换部件将第二滤光片切换到图像传感器的入光侧。在第二滤光片切换到图像传感器的入光侧之后，通过第二滤光片使可见光波段的光通过，阻挡近红外光波段的光，在第二滤光片通过可见光波段的光且阻挡近红外光波段的光之后，通过图像传感器进行曝光，以产生并输出第三图像信号。
在一种可能的实现方式中，补光器还可以包括第二补光装置，此时，通过滤光组件包括的第一滤光片使可见光波段的光和部分近红外光通过之前，还通过第二补光装置进行可见光补光。
在一种可能的实现方式中，第一补光装置进行近红外光补光时通过第一滤光片的近红外光的强度高于第一补光装置未进行近红外补光时通过第一滤光片的近红外光的强度。
在一种可能的实现方式中，入射到第一滤光片的近红外光的波段范围为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。
在一种可能的实现方式中，第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片的近红外光的中心波长和/或波段宽度达到约束条件。
在一种可能的实现方式中，第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者
第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者
第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。
在一种可能的实现方式中，约束条件包括：
通过第一滤光片的近红外光的中心波长与第一补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，波长波动范围为0～20纳米。
在一种可能的实现方式中，约束条件包括：
通过第一滤光片的近红外光的半带宽小于或等于50纳米。
在一种可能的实现方式中，约束条件包括：
第一波段宽度小于第二波段宽度；其中，第一波段宽度是指通过第一滤光片的近红外光的波段宽度，第二波段宽度是指被第一滤光片阻挡的近红外光的波段宽度。
在一种可能的实现方式中，约束条件为：
第三波段宽度小于参考波段宽度，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。
在一种可能的实现方式中，设定比例为30％～50％的比例范围内的任一比例。
在一种可能的实现方式中，第一预设曝光与第二预设曝光的至少一个曝光参数不同，至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，曝光增益包括模拟增益，和/或，数字增益。
在一种可能的实现方式中，第一预设曝光的曝光增益小于第二预设曝光的曝光增益。
在一种可能的实现方式中，第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，曝光增益包括模拟增益，和/或，数字增益。
在一种可能的实现方式中，第一预设曝光的曝光时间等于第二预设曝光的曝光时间。
在一种可能的实现方式中，图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。
在一种可能的实现方式中，多个感光通道用于感应至少两种不同的可见光波段的光。
在一种可能的实现方式中，多个感光通道包括r感光通道、g感光通道、b感光通道、y感光通道、w感光通道和c感光通道中的至少两种；
其中，r感光通道用于感应红光波段和近红外波段的光，g感光通道用于感应绿光波段和近红外波段的光，b感光通道用于感应蓝光波段和近红外波段的光，y感光通道用于感应黄光波段和近红外波段的光，w感光通道用于感应全波段的光，c感光通道用于感应全波段的光。
在一种可能的实现方式中，图像传感器为rgb传感器、rgbw传感器，或rccb传感器，或ryyb传感器。
在一种可能的实现方式中，第二补光装置用于以常亮方式进行可见光补光；或者
第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的部分曝光时间段内存在可见光补光，在第二预设曝光的整个曝光时间段内不存在可见光补光；或者
第二补光装置用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不存在可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。
在一种可能的实现方式中，第一补光装置在单位时间长度内的补光次数低于图像传感器在单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。
在一种可能的实现方式中，图像传感器采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。
在一种可能的实现方式中，图像传感器采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集；
近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻；
或者，
近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者
近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。
在一种可能的实现方式中，多次曝光包括奇数次曝光和偶数次曝光；
第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光；或者
第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光；或者
第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光；或者
第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光；或者，
第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光；或者
第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光；
其中，多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为多个曝光序列中的一个曝光序列或者两个曝光序列，每个曝光序列包括n次曝光，n次曝光包括1次第一预设曝光和n-1次第二预设曝光，或者，n次曝光包括1次第二预设曝光和n-1次第二预设曝光，n为大于2的正整数。
本申请实施例中还提供一种图像融合方法，应用于图1-35所示的实施例提供的图像融合设备，所述图像融合设备包括图像传感器、补光器、滤光组件和处理器，所述图像传感器位于所述滤光组件的出光侧，所述补光器包括第一补光装置，所述滤光组件包括第一滤光片，所述处理器包括：缓存单元和图像处理单元，参见图36，所述方法包括：
步骤3301、通过所述第一补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为图像传感器的多次曝光中的其中两次曝光；
步骤3302、通过所述第一滤光片使可见光波段的光和部分近红外光通过；
步骤3303、通过所述图像传感器采用全局曝光方式进行多次曝光，以产生并输出第一图像信号和第二图像信号，所述第一图像信号是根据所述第一预设曝光产生的图像信号，所述第二图像信号是根据所述第二预设曝光产生的图像信号；
步骤3304、通过图像处理单元接收图像传感器当前输出的第一目标图像信号，将第一目标图像信号预处理后得到第一目标图像，在第一目标图像需要缓存时，至少将第一目标图像同步输出至缓存单元进行缓存，以及在缓存单元需要同步输出缓存单元已缓存的第二目标图像时，至少接收缓存单元同步输出的第二目标图像，根据第一目标图像和第二目标图像生成彩色融合图像；
其中，若所述第一目标图像信号为第一图像信号则所述第一目标图像为第一图像信号预处理后生成的图像，所述第二目标图像为已缓存的一帧由第二目标图像信号预处理后生成的图像，所述第二目标图像信号为所述第二图像信号；若所述第一目标图像信号为第二图像信号，则所述第一目标图像为第二图像信号预处理后生成的图像，所述第二目标图像为已缓存的一帧由第二目标图像信号预处理后的图像，所述第二目标图像信号为所述第一图像信号；
步骤3305、通过缓存单元在获知所述第一目标图像需要缓存时，至少将所述图像处理单元同步输出的所述第一目标图像进行缓存，以及在获知需要同步输出已缓存的第二目标图像时，至少将已缓存的第二目标图像信号同步输出至所述图像处理单元。
在一种可能的实现方式中，所述方法还包括：
所述同步单元确定所述图像处理单元预处理生成的第一目标图像需要缓存时，指示缓存单元将所述第一目标图像进行缓存，以及从已缓存的图像中确定需要同步输出第二目标图像时，指示缓存单元将所述第二目标图像同步输出至图像处理单元。
在一种可能的实现方式中，所述图像处理单元接收图像传感器当前输出的第一目标图像信号，将第一目标图像信号预处理后得到第一目标图像，在第一目标图像需要缓存时，将第一目标图像同步输出至缓存单元进行缓存，以及在缓存单元需要同步输出缓存单元已缓存的第二目标图像时，接收缓存单元同步输出的第二目标图像，根据第一目标图像和第二目标图像生成彩色融合图像，包括：
所述图像预处理单元将所述第一目标图像信号经预处理后生成第一目标图像，并将所述第二目标图像信号经预处理后生成第二目标图像；
所述图像融合单元将所述第一目标图像和所述第二目标图像进行融合处理，得到所述彩色融合图像。
在一种可能的实现方式中，所述图像预处理单元将所述第一目标图像信号经预处理后生成第一目标图像，并将所述第二目标图像信号经预处理后生成第二目标图像，包括：
所述第一预处理单元对所述第一目标图像信号进行第一预处理操作，得到预处理后的第一目标图像；
所述第二预处理单元对所述第二目标图像信号进行第二预处理操作，得到第二目标图像；
所述联合降噪单元对所述第一目标图像和所述第二目标图像进行滤波处理，得到降噪后的第一目标图像和第二目标图像，所述降噪后的第一目标图像和第二目标图像用于进行融合处理，得到所述彩色融合图像，所述降噪后的第一目标图像和第二目标图像用于进行融合处理，得到所述彩色融合图像。
在一种可能的实现方式中，所述同步单元确定所述图像处理单元预处理生成的第一目标图像需要缓存时，指示缓存单元将所述第一目标图像进行缓存，以及从已缓存的图像中确定需要同步输出第二目标图像时，指示缓存单元将所述第二目标图像同步输出至图像处理单元，包括：
同步单元确定每一帧所述第一目标图像需要缓存，并且需要同步输出所述第二目标图像，所述第二目标图像为所述缓存单元前一次缓存的图像；
其中，若所述第一目标图像为第二图像信号预处理后生成的图像，则所述缓存单元当前缓存第二图像信号预处理后生成的图像，并将前一次缓存的第一图像信号预处理后生成的图像确定为所述第二目标图像输出至图像预处理单元；
若所述第一目标图像信号为第一图像信号预处理后生成的图像，则所述缓存单元当前缓存第一图像信号预处理后生成的图像，并将前一次缓存的第二图像信号预处理后生成的图像确定为所述第二目标图像输出至图像预处理单元。
在一种可能的实现方式中，所述同步单元确定所述图像处理单元预处理生成的第一目标图像需要缓存时，指示缓存单元将所述第一目标图像进行缓存，以及从已缓存的图像中确定需要同步输出第二目标图像时，指示缓存单元将所述第二目标图像同步输出至图像处理单元，包括：
所述同步单元确定所述第一目标图像为第一图像信号预处理后的图像时需要缓存，以及在确定所述第一目标图像为第二图像信号预处理后的图像时，需要同步输出所述第二目标图像，所述第二目标图像为所述缓存单元已缓存的图像中最近一次缓存的第一图像信号预处理后的图像；其中，若所述第一目标图像为第二图像信号预处理后的图像，则所述缓存单元将最近一次缓存的第一图像信号预处理后的图像确定为所述第二目标图像输出至图像预处理单元；若所述第一目标图像为第一图像信号预处理后的图像，则所述缓存单元缓存所述第一图像信号预处理后的图像；或者，
所述同步单元确定所述第一目标图像为第二图像信号预处理后的图像时需要缓存，以及在确定所述第一目标图像为第一图像信号预处理后的图像时，需要同步输出所述第二目标图像，所述第二目标图像为所述缓存单元已缓存的图像中最近一次缓存的第二图像信号预处理后的图像；其中，若所述第一目标图像为第一图像信号预处理后的图像，则所述缓存单元将最近一次缓存的第二图像信号预处理后的图像确定为所述第二目标图像输出至图像预处理单元；若所述第一目标图像为第二图像信号预处理后的图像，则所述缓存单元缓存所述第二图像信号预处理后的图像。
在一种可能的实现方式中，滤光组件还可以包括第二滤光片和切换部件，此时，还可以通过切换部件将第二滤光片切换到图像传感器的入光侧。在第二滤光片切换到图像传感器的入光侧之后，通过第二滤光片使可见光波段的光通过，阻挡近红外光波段的光，在第二滤光片通过可见光波段的光且阻挡近红外光波段的光之后，通过图像传感器进行曝光，以产生并输出第三图像信号。
在一种可能的实现方式中，补光器还可以包括第二补光装置，此时，通过滤光组件包括的第一滤光片使可见光波段的光和部分近红外光通过之前，还通过第二补光装置进行可见光补光。
在一种可能的实现方式中，第一补光装置进行近红外光补光时通过第一滤光片的近红外光的强度高于第一补光装置未进行近红外补光时通过第一滤光片的近红外光的强度。
在一种可能的实现方式中，入射到第一滤光片的近红外光的波段范围为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。
在一种可能的实现方式中，第一补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一滤光片的近红外光的中心波长和/或波段宽度达到约束条件。
在一种可能的实现方式中，第一补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者
第一补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者
第一补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。
在一种可能的实现方式中，约束条件包括：
通过第一滤光片的近红外光的中心波长与第一补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，波长波动范围为0～20纳米。
在一种可能的实现方式中，约束条件包括：
通过第一滤光片的近红外光的半带宽小于或等于50纳米。
在一种可能的实现方式中，约束条件包括：
第一波段宽度小于第二波段宽度；其中，第一波段宽度是指通过第一滤光片的近红外光的波段宽度，第二波段宽度是指被第一滤光片阻挡的近红外光的波段宽度。
在一种可能的实现方式中，约束条件为：
第三波段宽度小于参考波段宽度，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。
在一种可能的实现方式中，设定比例为30％～50％的比例范围内的任一比例。
在一种可能的实现方式中，第一预设曝光与第二预设曝光的至少一个曝光参数不同，至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，曝光增益包括模拟增益，和/或，数字增益。
在一种可能的实现方式中，第一预设曝光的曝光增益小于第二预设曝光的曝光增益。
在一种可能的实现方式中，第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，曝光增益包括模拟增益，和/或，数字增益。
在一种可能的实现方式中，第一预设曝光的曝光时间等于第二预设曝光的曝光时间。
在一种可能的实现方式中，图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。
在一种可能的实现方式中，多个感光通道用于感应至少两种不同的可见光波段的光。
在一种可能的实现方式中，多个感光通道包括r感光通道、g感光通道、b感光通道、y感光通道、w感光通道和c感光通道中的至少两种；
其中，r感光通道用于感应红光波段和近红外波段的光，g感光通道用于感应绿光波段和近红外波段的光，b感光通道用于感应蓝光波段和近红外波段的光，y感光通道用于感应黄光波段和近红外波段的光，w感光通道用于感应全波段的光，c感光通道用于感应全波段的光。
在一种可能的实现方式中，图像传感器为rgb传感器、rgbw传感器，或rccb传感器，或ryyb传感器。
在一种可能的实现方式中，第二补光装置用于以常亮方式进行可见光补光；或者
第二补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的部分曝光时间段内存在可见光补光，在第二预设曝光的整个曝光时间段内不存在可见光补光；或者
第二补光装置用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不存在可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。
在一种可能的实现方式中，第一补光装置在单位时间长度内的补光次数低于图像传感器在单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。
在一种可能的实现方式中，图像传感器采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。
在一种可能的实现方式中，图像传感器采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集；
近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻；
或者，
近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者
近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。
在一种可能的实现方式中，多次曝光包括奇数次曝光和偶数次曝光；
第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光；或者
第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光；或者
第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光；或者
第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光；或者，
第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光；或者
第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光；
其中，多次曝光包括多个曝光序列，第一曝光序列和第二曝光序列为多个曝光序列中的一个曝光序列或者两个曝光序列，每个曝光序列包括n次曝光，n次曝光包括1次第一预设曝光和n-1次第二预设曝光，或者，n次曝光包括1次第二预设曝光和n-1次第二预设曝光，n为大于2的正整数。
需要说明的是，由于本实施例与上述图1-34所示的实施例可以采用同样的发明构思，因此，关于本实施例内容的解释可以参考上述图1-34所示实施例中相关内容的解释，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
- 还没有人留言评论。精彩留言会获得点赞！