基于神经网络的事件相机图像重建方法

本发明属于数字图像处理领域，具体讲，涉及基于深度学习和计算机视觉的事件相机视频重建方法。

背景技术：

1、事件相机是一种新型的视觉传感器，也被称为动态视觉传感器或davis(dynamicand active-pixel vision sensor)。它受到生物视觉系统的启发，从“仅感知运动物体”出发，通过异步、独立的成像范式实现了高时间分辨率、高动态范围、低功耗等特点，解决了普通相机空间冗余、动态模糊等问题，在高速运动估计、高动态范围建图、特征检测与跟踪等领域应用广泛并表现良好。

2、不同于传统相机通过曝光使感光元件积累光子的成像方式，事件相机的每个像素都对应一个独立的光电传感模块，当该像素的亮度变化超过设定的阈值，就会输出一个差分脉冲信号(又称事件数据)。事件数据被编码为四元向量(xi,yi,ti,pi)的格式，其中(xi,yi)表示像素坐标，ti表示触发时间，pi表示亮度变化极性。由于所有像素独立工作，所以事件相机的数据输出是时间异步、空间稀疏的，这样的成像范式减少了大量冗余数据并消除了传统相机成像时间单位的概念。但其非欧几里得式的数据结构使得现有图像重建算法难以对事件数据进行重建，因此设计新的针对事件数据的时空特性的算法是必要的。

3、目前事件数据的主流处理方式主要分为两种：event-by-event的方法和group-of-events的方法。前者为逐个事件的处理方法，常用于事件降噪、提取特征和图像重建的滤波器中，通过差分计算的方式完成系统状态的更新。基于group-of-events的处理方法为了解决单个事件携带数据少的问题，对固定事件窗口中的事件数据进行累计处理，具体表征方式包括事件帧，体栅格和3d点集。

4、近年来深度学习在图像处理领域大放异彩，基于深度学习框架的事件相机图像重建工作相比于传统方法也取得了性能突破，但在纹理和对比度等重建细节上仍存在性能缺失。为了解决该问题，本发明提出一种基于神经网络的事件相机图像重建方法。

技术实现思路

1、本发明的目的在于提出一种基于神经网络的事件相机图像重建方法以解决现有技术重建细节较差的问题。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种基于神经网络的事件相机图像重建方法，所述方法基于神经网络，利用图像金字塔、特征金字塔、convgru、条件标准化和2d卷积模块构造一个类金字塔的多层重建网络，通过融合不同层、不同尺度的重建结果生成最后的灰度重建图像，具体包括以下步骤：

4、s1、仿真数据集构建：采用esim仿真器，结合渲染引擎和时间模拟器动态自适应地采集事件数据，生成仿真数据集，并将数据集划分为训练集和测试集；

5、s2、事件数据预处理：综合考虑算法执行速度和算法重建结果，采取group-of-events的方法将s1中的事件数据表示为事件帧；

6、s3、数据增广：利用旋转、随机裁剪的方式对s1中所得的仿真数据集进行数据增广；对s2中所得的事件帧添加高斯噪声和热点噪声；

7、s4、图像重建网络设计：基于s3中所得数据，将其作为训练集来设计事件相机图像重建网络，具体包括如下内容：

8、①图像金字塔设计：将经过预处理的事件帧输入图像金字塔进行特征提取；所述图像金字塔由三个子特征提取模块组成，每个子特征提取模块由两个卷积层、两个batchnormalization层和两个激活函数组成；

9、②特征金字塔设计：与图像金字塔相对应，对特征金字塔进行设计，所述特征金字塔设计为三层，每一层包括一个convlstm层、一个spade标准化层和一个残差组合；

10、③多尺寸迭代更新重建：将特征金字塔每一层对应设计一组重建模块，将重建特征解码为重建结果；所述特征金字塔的前两层的重建模块由两个卷积层、一个batchnormalization层、一个sigmod激活函数组成；所述特征金字塔的第三层的重建模块采用多尺度迭代重建模块进行迭代更新；

11、④重建结果输出：利用pixel shuffle对第二层和第三层的重建结果进行上采样融合，得到最终的重建结果，具体公式表示为：

12、

13、其中，it表示t时刻重建的灰度图像；up表示pixel shuffle上采样方式；

14、⑤损失函数设计：基于l1损失函数、感知损失函数和时间一致性损失函数，将上述三个损失函数的加权和作为最终损失对图像重建网络进行监督；

15、s5、搭建、训练模型：基于s4中所设计的图像重建网络来搭建模型，然后在pytorch框架下，采用adam优化器对所得模型进行训练，得到最终模型；

16、s6、输出结果：将测试集中的图像输入至s5中所得的最终模型中，得到相应的重建图像输出结果。

17、优选地，所述s2具体包括如下内容：将事件间隔δt＝tk-t0内的事件点通过线性插值的方法编码为事件帧，每个事件点的极性pi被映射到距离其最近的两个通道，公式表示如下：

18、

19、其中，ek表示δt间隔内事件点的编码结果；pi表示事件点极性；b表示体素网格通道数；ti表示事件点的时间戳。

20、优选地，所述图像金字塔的三个子特征提取模块分别在不同尺寸提取输入事件帧的特征f1、f2、f3，相比于原尺寸归一化尺寸为1，1/2，1/4，分别包括边缘、结构和语义信息，用于特征金字塔的特征信息补充，具体公式如下：

21、fsub1＝relu1.2(bn1.2(relu1.1(bn1.1(conv1.1(ek))))

22、fsub2＝relu2.2(bn2.2(relu2.1(bn2.1(conv2.1(fsub1))))

23、fsub3＝relu3.2(bn3.2(relu3.1(bn3.1(conv3.1(fsub2))))

24、其中，fsubn表示图像金字塔第n层的输出特征；conv表示卷积层；bn表示batchnormalization层。

25、优选地，所述特征金字塔设计具体包括如下内容：

26、1)接受上一层图像金字塔的输出重建特征作为特征金字塔当前层在时刻t的主要特征输入利用convlstm层和spade标准化层对输入主特征进行编码，公式如下：

27、

28、

29、其中，表示t时刻convlstm层的输出；it表示t时刻第k层的重建结果；spade标准化层利用上一时刻的重建结果对当前时刻进行条件标准化，公式表示为：

30、

31、其中，表示上一时刻的重建结果；γc,y,x，βc,y,x表示网络学习的参数；μc和σc分别代表输入的均值和标准差；

32、2)通过残差模块融合相对应尺度的子特征fsub达到信息补充的作用；经过步骤1)，特征金字塔不同的层得到的与相应的子特征fsub具有相同的尺寸，通过残差块对二者进行特征融合，得到重建特征k表示特征金字塔第k层的输出重建特征。

33、优选地，所述特征金字塔前两层的重建模块的重建过程由公式表示为：

34、

35、其中，表示t时刻第k层的重建结果；σ表示sigmod激活函数；bn表示batchnormalization层；convi表示卷积层；

36、所述特征金字塔第三层的重建模块利用基于卷积的门控循环单元gru进行多尺度迭代更新；

37、所述方案③具体包括如下内容：

38、将特征金字塔输出的三个尺度重建特征依次输入gru并获得对应的更新方向三个更新方向共同维护更新变量并经过sigmod函数得到第三层的重建结果，公式表示为：

39、

40、其中，gru表示门控循环单元；σ为sigmod函数；表示第三层最终的重建结果。

41、优选地，方案⑤中所述损失函数的具体公式表示为：

42、

43、其中，表示l1损失函数；ζlpips表示感知损失函数，采用预训练vgg19网络的前5个隐藏层进行计算；ζtc表示时间一致性损失函数；ζtotal表示总损失函数；表示groundtruth；it表示网络重建结果。

44、与现有技术相比，本发明提供了基于神经网络的事件相机图像重建方法，具备以下有益效果：

45、(1)本发明通过构建仿真的事件重建数据集，减少了不同真实数据集之间的分布差异导致的算法泛化能力差，对不同场景的事件数据都能实现较好的重建效果。

46、(2)基于仿真数据集，本发明提出了一种通过利用事件数据时空信息进行重建的方法，该方法通过图像金字塔进行空间信息的补充，通过convlstm进行时间信息的累计，最后利用金字塔的重建特性，实现了事件数据的灰度重建。

47、(3)本发明所提出的重建方法复杂度低，在保持较高的重建速度下，仍取得很高的重建质量。