一种基于事件信号神经编码方式的图像增强方法及装置

文档序号:34107773发布日期:2023-05-10 20:58阅读:来源:国知局

技术特征:

1.一种基于事件信号神经编码方式的图像增强方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,步骤s1中采用密集卷积模块提取特征,然后再利用长短时记忆神经网络编码时序信号的特点抽取时序信息。

3.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,步骤s2中,通过一个u-net神经网络融合图像信号和神经事件帧,网络学习输出模糊图像和清晰图像之间的残差,实现从模糊图像恢复清晰图像。

4.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,步骤s3中,通过多层rrdb模块逐渐融合图像信号特征和神经事件帧,最终以像素重排列的方式实现图像超分辨率。

5.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,步骤s2和s3的神经网络使用的损失函数均由均方误差和感知误差两个部分构成:

6.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,整个网络采用逐阶段的训练策略,首先同时训练神经事件帧编码器和去模糊网络;在两个网络训练相对稳定之后,结合超分网络继续进行训练,并对神经事件帧编码器和去模糊网络的参数进行微调;在两个阶段的学习率分别设置为1×10-3和1×10-4;两个阶段的优化器都使用adam优化器。

7.根据权利要求1所述的基于事件信号神经编码方式的图像增强方法,其特征在于,整个网络在训练过程中仅使用灰度图像;在测试过程中,先将图像从rgb颜色空间转化为yuv颜色空间,分离出y通道,然后对于y通道进行去模糊和超分,对于uv颜色通道直接插值到相应分辨率,然后与y通道合并得到最终的彩色图像。

8.一种基于事件信号神经编码方式的图像增强装置,其特征在于,包括以下模块以实现权利要求1-7任一项所述的方法:

9.一种设备,其特征在于,包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;其特征在于,


技术总结
本发明公开了一种基于事件信号神经编码方式的图像增强方法及装置,结合了物理成像模型和数据驱动两种方式的特性,提出了一种鲁棒的、良好编码事件信号流中运动和时序信息的编码方式——神经事件帧,通过神经事件帧,构建了低质量图像和高质量图像之间的转换关系,有效克服了事件信号中的噪声干扰等问题,实现了对于图像信号的去模糊以及超分辨率。同时,本发明设计了事件信号引导下统一的高速视频生成框架,实现了从低速视频到高速视频的恢复。

技术研发人员:施柏鑫,滕明桂,周矗,楼涵月
受保护的技术使用者:北京大学
技术研发日:
技术公布日:2024/1/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1