1.一种基于事件信号神经编码方式的图像增强方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,步骤s1中采用密集卷积模块提取特征,然后再利用长短时记忆神经网络编码时序信号的特点抽取时序信息。
3.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,步骤s2中,通过一个u-net神经网络融合图像信号和神经事件帧,网络学习输出模糊图像和清晰图像之间的残差,实现从模糊图像恢复清晰图像。
4.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,步骤s3中,通过多层rrdb模块逐渐融合图像信号特征和神经事件帧,最终以像素重排列的方式实现图像超分辨率。
5.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,步骤s2和s3的神经网络使用的损失函数均由均方误差和感知误差两个部分构成:
6.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,整个网络采用逐阶段的训练策略,首先同时训练神经事件帧编码器和去模糊网络;在两个网络训练相对稳定之后,结合超分网络继续进行训练,并对神经事件帧编码器和去模糊网络的参数进行微调;在两个阶段的学习率分别设置为1×10-3和1×10-4;两个阶段的优化器都使用adam优化器。
7.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,整个网络在训练过程中仅使用灰度图像;在测试过程中,先将图像从rgb颜色空间转化为yuv颜色空间,分离出y通道,然后对于y通道进行去模糊和超分,对于uv颜色通道直接插值到相应分辨率,然后与y通道合并得到最终的彩色图像。
8.一种基于事件信号神经编码方式的图像增强装置,其特征在于,包括以下模块以实现权利要求1-7任一项所述的方法:
9.一种设备,其特征在于,包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;其特征在于,