基于数据融合的低光图像增强方法及装置

本申请涉及计算机，特别涉及一种基于数据融合的低光图像增强方法及装置。

背景技术：

1、随着数字图像的发展，对于图像质量的要求也随之提高。当相机处在低光环境时，所拍摄图像的质量会严重下降，对图像的正常使用产生影响。

2、事件相机是一种新型视觉传感器，与传统相机相比，有高动态范围、高时间分辨率、无动态模糊等优点，通过像素点异步工作，根据光强变化输出事件流，获取图像数据，而传统相机及传统图像处理领域中适用的算法及方法无法直接使用于事件相机及事件数据。

3、在相关技术中，因光强受限的环境下传统相机难以获取有效图像，故易产生欠曝光的现象，从而导致低光环境下所采集图像数据质量的下降，无法实现对于低光场景的有效观测，使所得图像结果的实用性较低，亟待解决。

技术实现思路

1、本申请提供一种基于数据融合的低光图像增强方法及装置，以解决相关技术中，因光强受限的环境下传统相机难以获取有效图像，故易产生欠曝光的现象，从而导致低光环境下所采集图像数据质量的下降，无法实现对于低光场景的有效观测，使所得图像结果的实用性较低等问题。

2、本申请第一方面实施例提供一种基于数据融合的低光图像增强方法，包括以下步骤：从移动的事件相机获取满足预设低光环境条件下采集的欠曝光图像和事件流数据；截取所述事件流数据在所述欠曝光图像的曝光时间内对应的事件流；使用spike response模型作为神经元动力学模型，构建脉冲卷积神经网络；将所述事件流输入所述脉冲卷积神经网络进行前向传播，得到所述事件流数据的特征向量；构建多模态融合网络，并拼接所述欠曝光图像和所述事件流数据的特征向量，以使用所述多模态融合网络进行前向传播，生成曝光的增强图像。

3、具体地，在本申请的一个实施例中，所述事件流的截取算法为：

4、ε＝{(xi,yi,ti,pi)|tstart≤ti≤tend}，

5、其中，ε为截取的事件流，(xi,yi)为事件i的像素横纵坐标，ti为事件i的时间戳，pi为事件i的事件极性，tstart是欠曝光图像i开始曝光的时间，tend是欠曝光图像i结束曝光的时间，i＝1,2,3…。

6、可选地，在本申请的一个实施例中，所述脉冲卷积神经网络包含输入卷积层、隐藏卷积层和输出卷积层，其中，所述输入卷积层的输入通道数为2，对应事件流的正极性事件和负极性事件，所述输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16，且所述隐藏卷积层的输入通道数为16，所述隐藏卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16，以及所述输出卷积层的输入通道数为16，所述输出卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为32。

7、可选地，在本申请的一个实施例中，所述多模态融合网络使用u-net结构，所述多模态融合网络的输入层的输入通道数为32+k，输出层的输出通道数为k，其中，k为所述的欠曝光图像的通道数。

8、可选地，在本申请的一个实施例中，所述拼接所述欠曝光图像和所述事件流数据的特征向量，包括：将所述欠曝光图像和所述事件流数据的特征向量沿通道维度拼接。

9、本申请第二方面实施例提供一种基于数据融合的低光图像增强装置，包括：获取模块，用于从移动的事件相机获取满足预设低光环境条件下采集的欠曝光图像和事件流数据；截取模块，用于截取所述事件流数据在所述欠曝光图像的曝光时间内对应的事件流；构建模块，用于使用spike response模型作为神经元动力学模型，构建脉冲卷积神经网络；输入模块，用于将所述事件流输入所述脉冲卷积神经网络进行前向传播，得到所述事件流数据的特征向量；增强模块，用于构建多模态融合网络，并拼接所述欠曝光图像和所述事件流数据的特征向量，以使用所述多模态融合网络进行前向传播，生成曝光的增强图像。

10、具体地，在本申请的一个实施例中，所述事件流的截取算法为：

11、ε＝{(xi,yi,ti,pi)|tstart≤ti≤tend}，

12、其中，ε为截取的事件流，(xi,yi)为事件i的像素横纵坐标，ti为事件i的时间戳，pi为事件i的事件极性，tstart是欠曝光图像i开始曝光的时间，tend是欠曝光图像i结束曝光的时间，i＝1,2,3…。

13、可选地，在本申请的一个实施例中，所述脉冲卷积神经网络包含输入卷积层、隐藏卷积层和输出卷积层，其中，所述输入卷积层的输入通道数为2，对应事件流的正极性事件和负极性事件，所述输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16，且所述隐藏卷积层的输入通道数为16，所述隐藏卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16，以及所述输出卷积层的输入通道数为16，所述输出卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为32。

14、可选地，在本申请的一个实施例中，所述多模态融合网络使用u-net结构，所述多模态融合网络的输入层的输入通道数为32+k，输出层的输出通道数为k，其中，k为所述的欠曝光图像的通道数。

15、可选地，在本申请的一个实施例中，所述增强模块包括：拼接单元，用于将所述欠曝光图像和所述事件流数据的特征向量沿通道维度拼接。

16、本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于数据融合的低光图像增强方法。

17、本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于数据融合的低光图像增强方法。

18、本申请实施例可以通过从事件相机获取欠曝光图像和事件流数据，截取事件流数据在欠曝光图像的曝光时间内对应的事件流，构建脉冲卷积神经网络，将事件流输入脉冲卷积神经网络进行前向传播，得到事件流数据的特征向量，构建多模态融合网络，并拼接欠曝光图像和事件流数据的特征向量，以使用多模态融合网络进行前向传播，生成曝光的增强图像，从而提升了所采集图像的质量及效果，使所得图像数据更加准确实用。由此，解决了相关技术中，因光强受限的环境下传统相机难以获取有效图像，故易产生欠曝光的现象，从而导致低光环境下所采集图像数据质量的下降，无法实现对于低光场景的有效观测，使所得图像结果的实用性较低等问题。

19、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种基于数据融合的低光图像增强方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述事件流的截取算法为：

3.根据权利要求1所述的方法，其特征在于，所述脉冲卷积神经网络包含输入卷积层、隐藏卷积层和输出卷积层，其中，所述输入卷积层的输入通道数为2，对应事件流的正极性事件和负极性事件，所述输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16，且所述隐藏卷积层的输入通道数为16，所述隐藏卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16，以及所述输出卷积层的输入通道数为16，所述输出卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为32。

4.根据权利要求1所述的方法，其特征在于，所述多模态融合网络使用u-net结构，所述多模态融合网络的输入层的输入通道数为32+k，输出层的输出通道数为k，其中，k为所述的欠曝光图像的通道数。

5.根据权利要求1所述的方法，其特征在于，所述拼接所述欠曝光图像和所述事件流数据的特征向量，包括：

6.一种基于数据融合的低光图像增强装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述事件流的截取算法为：

8.根据权利要求6所述的装置，其特征在于，所述脉冲卷积神经网络包含输入卷积层、隐藏卷积层和输出卷积层，其中，所述输入卷积层的输入通道数为2，对应事件流的正极性事件和负极性事件，所述输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16，且所述隐藏卷积层的输入通道数为16，所述隐藏卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16，以及所述输出卷积层的输入通道数为16，所述输出卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为32。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于数据融合的低光图像增强方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于数据融合的低光图像增强方法。

技术总结
本申请涉及计算机技术领域，特别涉及一种基于数据融合的低光图像增强方法及装置，其中，方法包括：从事件相机获取欠曝光图像和事件流数据，截取事件流数据在欠曝光图像的曝光时间内对应的事件流，构建脉冲卷积神经网络，将事件流输入脉冲卷积神经网络进行前向传播，得到事件流数据的特征向量，构建多模态融合网络，并拼接欠曝光图像和事件流数据的特征向量，以使用多模态融合网络进行前向传播，生成曝光的增强图像。本申请实施例可以基于数据融合，通过低光环境下事件相机所采集欠曝光图像及事件流，对场景做出响应并输出事件流生成正常曝光图像，以实现低光图像增强，从而提升了所采集图像的质量及效果，使所得图像数据更加准确实用。

技术研发人员：高跃,李思奇
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/1/12