图像重建方法及脉冲相机与流程

本申请涉及脉冲相机，尤其涉及一种图像重建方法及脉冲相机。

背景技术：

1、脉冲相机是基于一种受生物启发的传感器，它能够以极低的延迟产生异步事件，记录场景中亮度变化的坐标位置、时间及变化极性，因此具有高时间分辨率、高动态范围、低功耗和高像素带宽的特性，从而能够大大减少运动模糊的影响，可以在弱光、快速运动和高动态范围场景等条件下稳健地工作，对于各种视觉任务具有吸引力。

2、传统的计算机视觉方法，比如人工神经网络(artificial neural networks，ann)，不能直接应用于需要同时考虑事件时空信息的异步事件。脉冲神经网络(spikingneural networks，snn)可以整合异步事件中的时空信息。但是采用单一的脉冲神经网络进行图像重建任务时，往往会存在图像性能下降的技术问题，由于脉冲神经网络具有稀疏性和二值脉冲，这对于需要高数值精度来恢复精确像素强度的高质量图像恢复任务来说是不够的。

技术实现思路

1、本申请的目的在于提供一种图像重建方法及脉冲相机，能够有效考虑和利用异步事件数据流的时空信息，有效地解决图像重建任务，提高了图像重建任务的整体性能。

2、基于上述目的，本申请提供一种图像重建方法，应用于脉冲相机，方法包括：

3、通过脉冲相机获取预设时间步长内的异步事件数据流，基于时间步长将异步事件数据流划分为多个具有相同时间戳的异步事件，异步事件包括至少一个像素事件的事件数据，事件数据包括像素事件的时间戳和空间信息；

4、将每一个异步事件输入脉冲神经网络模型，进行编码以获取多个脉冲序列，在时间维度上对多个脉冲序列进行归一化处理后输出特征脉冲序列；

5、将特征脉冲序列输入卷积神经网络模型进行卷积和特征提取处理，得到目标重建图像。

6、进一步的，将每一个异步事件输入脉冲神经网络模型，进行编码以获取多个脉冲序列，在时间维度上对多个脉冲序列进行归一化处理后输出特征脉冲序列的步骤包括：

7、提取异步事件数据流的多个特征图，其中，每个特征图包含像素事件的空间信息和时间信息，其中，时间信息是根据每个像素事件的时间戳获取的，空间信息为像素事件的空间分辨率h*w；

8、将每一个特征图输入脉冲神经网络模型，进行编码以获取多个脉冲序列，每一个脉冲序列包括多个脉冲，脉冲携带有时间戳和空间信息，将获取的多个脉冲序列在时间维度上求平均，输出特征脉冲序列。

9、进一步的，脉冲神经网络模型包括三个脉冲卷积层，依次为第一脉冲卷积层、第二脉冲卷积层和第三脉冲卷积层，第一脉冲卷积层和第二脉冲卷积层之间有跳跃连接。

10、进一步的，将每一个异步事件输入脉冲神经网络模型，进行编码以获取多个脉冲序列，在时间维度上对多个脉冲序列进行归一化处理后输出特征脉冲序列的步骤包括：

11、确定脉冲神经网络模型中lif神经元激发的脉冲信号的幅度取值范围，根据脉冲信号的幅度调整函数、以及神经元的膜电位与脉冲阈值的比值，确定脉冲信号的幅值，以使lif神经元激发的脉冲信号具有多比特值；

12、将异步事件输入脉冲神经网络模型，根据具有多比特值的脉冲信号进行编码输出多比特脉冲序列；

13、将获取的多个多比特脉冲序列在时间维度上求平均，进行归一化，输出特征脉冲序列。

14、进一步的，确定脉冲神经网络模型的lif神经元激发的脉冲信号的幅度取值范围为s(t)∈{2n|n∈n,2n≤smax}，根据脉冲信号的幅度调整函数以及神经元的膜电位v′j(t)与脉冲阈值vth的比值，确定脉冲信号的幅值，以使lif神经元激发的脉冲信号具有多比特值；

15、基于多比特值的脉冲信号，将异步事件输入脉冲神经网络模型，进行编码输出多比特脉冲序列sj(t)，sj(t)表示为：

16、

17、其中，幅度调整函数v′j(t)表示膜电位，vth表示脉冲阈值，x表述lif神经元输入的数据。

18、进一步的，该方法包括：

19、脉冲神经网络模型的训练采用时空反向传播算法，卷积神经网络模型的训练采用量化的relu激活函数和近似梯度函数的反向传播算法，以使脉冲神经网络模型和卷积神经网络模型能够联合训练，其中，

20、近似梯度函数的计算公式为：

21、

22、

23、其中，λ为量化边界，qrelu(xa,λ)为量化的激活函数，xa为卷积神经网络模型中的输入数据值。

24、基于上述目的，本申请提供一种脉冲相机，包括：

25、获取模块，用于获取预设时间步长内的异步事件数据流，基于时间步长将异步事件数据流划分为多个具有相同时间戳的异步事件，异步事件包括至少一个像素事件的事件数据，事件数据包括所像素事件的时间戳和空间信息；

26、编码器，用于将每一个异步事件输入脉冲神经网络模型，进行编码以获取多个脉冲序列，在时间维度上对多个脉冲序列进行归一化处理后输出特征脉冲序列；

27、解码器，用于将特征脉冲序列输入卷积神经网络模型进行卷积和特征提取处理，得到目标重建图像。

28、进一步的，编码器具体用于：

29、确定脉冲神经网络模型中lif神经元的脉冲信号的幅度取值范围，根据脉冲信号的幅度调整函数、以及神经元的膜电位与脉冲阈值的比值，确定脉冲信号的幅值，以使lif神经元激发的脉冲信号具有多比特值，将异步事件输入所述脉冲神经网络模型，根据具有多比特值的脉冲信号进行编码输出多比特脉冲序列，将获取的多个多比特脉冲序列在时间维度上求平均，进行归一化，输出特征脉冲序列。

30、进一步的，脉冲神经网络模型的训练采用时空反向传播算法，卷积神经网络模型的训练采用量化的relu激活函数和近似梯度函数的反向传播算法，以使脉冲神经网络模型和卷积神经网络模型能够联合训练，其中，

31、近似梯度函数的计算公式为：

32、

33、

34、其中，λ为量化边界，qrelu(xa,λ)为量化的激活函数，xa为卷积神经网络模型中的输入数据值。

35、基于上述目的，本申请提供一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现如上所述的方法的步骤。

36、本申请通过脉冲神经网络和卷积神经网络所构成的混合神经网络结构，利用脉冲神经网络对异步事件数据流的时间信息进行编码，以及利用卷积神经网络解码异步事件流的空间信息，可以有效地对异步事件数据流的时空信息进行整合和编码，充分利用异步事件数据流的事件信息，重建出具有高动态范围、高分辨率的清晰图像或者视频，提高了图像重建任务的整体性能。

技术特征：

1.一种图像重建方法，应用于脉冲相机，其特征在于，所述方法包括：

2.如权利要求1所述的图像重建方法，其特征在于，所述将每一个异步事件输入脉冲神经网络模型，进行编码以获取多个脉冲序列，在时间维度上对多个脉冲序列进行归一化处理后输出特征脉冲序列的步骤包括：

3.如权利要求1所述的图像重建方法，其特征在于，所述脉冲神经网络模型包括三个脉冲卷积层，依次为第一脉冲卷积层、第二脉冲卷积层和第三脉冲卷积层，所述第一脉冲卷积层和所述第二脉冲卷积层之间有跳跃连接。

4.如权利要求1所述的图像重建方法，其特征在于，所述将每一个异步事件输入脉冲神经网络模型，进行编码以获取多个脉冲序列，在时间维度上对多个脉冲序列进行归一化处理后输出特征脉冲序列的步骤包括：

5.如权利要求1所述的图像重建方法，其特征在于，所述将每一个异步事件输入脉冲神经网络模型，进行编码以获取多个脉冲序列，在时间维度上对多个脉冲序列进行归一化处理后输出特征脉冲序列的步骤包括：

6.如权利要求1所述的图像重建方法，其特征在于，所述方法包括：

7.一种脉冲相机，其特征在于，包括：

8.如权利要求7所述的脉冲相机，其特征在于，所述编码器具体用于：

9.如权利要求7所述的脉冲相机，其特征在于，所述脉冲神经网络模型的训练采用时空反向传播算法，所述卷积神经网络模型的训练采用量化的relu激活函数和近似梯度函数的反向传播算法，以使所述脉冲神经网络模型和所述卷积神经网络模型能够联合训练，其中，

10.一种计算机可读存储介质，其特征在于，

技术总结
本申请公开了图像重建方法及脉冲相机，方法包括：通过脉冲相机获取预设时间步长内的异步事件数据流，基于时间步长将异步事件数据流划分为多个具有相同时间戳的异步事件，异步事件包括至少一个像素事件的事件数据，事件数据包括像素事件的时间戳和空间信息；将每一个异步事件输入脉冲神经网络模型，进行编码以获取多个脉冲序列，在时间维度上对多个脉冲序列进行归一化处理后输出特征脉冲序列；将特征脉冲序列输入卷积神经网络模型进行卷积和特征提取处理，得到目标重建图像。本申请能够能有效利用异步事件数据流的时空信息，提高了图像重建任务的整体性能。

技术研发人员：仵赛飞,张渊,谢迪,浦世亮
受保护的技术使用者：杭州海康威视数字技术股份有限公司
技术研发日：
技术公布日：2024/5/10