一种事件相机引导的高动态高速场景成像方法及系统

本发明涉及图像重建领域技术，具体地涉及一种事件相机引导的高动态高速场景成像方法及系统。

背景技术：

1、传统相机的动态范围和时间分辨率有限，在真实场景中获取图像时经常会出现低动态范围和运动模糊耦合退化的情况，导致生成图像细节缺失。高动态范围hdr成像致力于从单张或多张低动态范围ldr图像中恢复信息丰富且视觉上令人愉悦的hdr图像。然而当前基于图像帧的高动态范围成像方法(hdrcnn，deephdr，hdrunet，kunet)往往针对静态场景，无法解决包含高速运动目标的动态场景，这使得高动态范围成像难以广泛应用于真实动态场景中。运动去模糊旨在从模糊图像中恢复出潜在清晰图像，然而基于图像帧的运动去模糊方法通常假设特定的运动模式，导致在具有复杂运动的真实动态场景中的性能下降。

2、事件相机是一种基于生物仿生学的新型视觉传感器，在解决低动态范围图像重建和运动去模糊任务上有着显著优势。一方面，事件相机具有高动态范围特性，可以感知大于120db的动态范围，通过挖掘事件的高动态范围特征信息，可以补偿低动态范围图像中的饱和区域。另一方面，事件相机以微秒分辨率记录亮度变化，即使面对复杂的非线性运动，也可以准确记录场景信息，用来重建潜在的清晰图像帧。这类方法通过建立事件流和传统图像帧的亮度一致性关系，补偿非线性运动去模糊任务。

3、在基于事件相机的图像复原任务中，现有任务往往针对单一退化场景，如基于事件的hdr成像(neur-img，hdrev)和基于事件的运动去模糊(evdi，e-cir，esl-net++)，然而从模糊的低动态范围图像中恢复清晰的高动态范围图像是一项复杂且具有挑战性的任务。虽然可以通过级联基于事件相机的高动态范围重建技术和基于事件相机的运动去模糊技术来实现混合退化图像的解耦，但由于饱和区域与模糊区域相互耦合，使图像先验严重缺失，导致级联的复原过程性能下降。此外，这一复原过程需要清晰的高动态范围图像进行网络约束。然而，在真实世界的动态场景中，由于高速运动目标的存在，很难生成令人满意的参考图像，这阻碍了网络优化过程。

技术实现思路

1、针对当前算法难以解决真实动态场景中低动态范围和运动模糊耦合问题，本发明提出了一种基于事件相机引导的高动态范围清晰图像重建方法，提升高速高动态场景高动态范围清晰成像能力。

2、为实现这一目的，本发明提出以下技术方案：

3、步骤s1：构建混合成像系统并拍摄真实动态场景hdr成像数据集。

4、其中搭建的混合成像系统由传统rgb相机、事件相机和高速rgb相机组成，本发明在此基础上建立了硬件同步触发机制；拍摄得到的数据集包含配对的低动态范围模糊图像l、事件流和低动态范围清晰图像s(t)，并实施空间校准保证数据视场一致。

5、步骤s2：构建基于事件的联合hdr成像和运动去模糊的网络e-bl2sh。该网络包含动态范围增强和运动去模糊两个过程，输入低动态范围模糊图像，事件流和需要恢复图像的时间戳，输出高动态范围清晰图像。

6、其中动态范围增强过程利用图像编码器ti编码模糊ldr图像，利用事件编码器te编码事件体素，并将生成特征级联；然后构建动态范围融合网络，利用多级深度特征融合模块，将级联特征进行融合，生成高动态范围特征；

7、其中运动去模糊过程将事件流进一步按恢复图像的事件戳t分为左右两部分事件流，并分别进行编码得到具有位置表征的两个事件体素；构建事件编码器和分别对左右事件体素进行编码，提取其高时间分辨率特征；然后构建运动去模糊模型，利用两个多重感受野运动残差估计模块(mrfr)来估计运动残差特征，用来补偿运动过程，从而恢复出清晰的hdr图像

8、步骤s3：构建动态范围解耦网络drd，解决了动态场景中hdr清晰图像难以获取的问题。具体的，该网络从生成的hdr清晰图像中解耦出3帧交替曝光的ldr清晰图像其中三者曝光值分别对应ev-2,ev+0,ev+2,从而使包含低亮度、中等亮度、高亮度的图像。这一操作将优化问题从hdr域的转移到了ldr域。

9、步骤s4：构建动态范围融合网络(drc)，将ldr域的约束传递到hdr域从而进一步约束清晰的hdr图像具体的，该网络生成的ldr清晰图像重建出hdr清晰图像i′(t)，从而为提供约束。

10、步骤s5：构建自监督优化框架约束上述网络，该框架由hdr-ldr约束，ldr-ldr约束，ldr-hdr约束和hdr-hdr约束构成。

11、hdr-ldr约束用以建立与清晰ldr观测图像的s(t)之间的联系,基于此设计损失函数

12、

13、其中d表示从中选取与ldr清晰图像的s(t)曝光相同的图像，并执行dcombo损失函数，该函数计算了两张图像之间的l1损失，感知损失和对抗损失，这些损失分别在像素和特征级别上对图像执行约束。

14、ldr-ldr约束建立起三帧曝光图像和之间的关系，基于此设计损失函数

15、

16、其中表示将图像亮度线性乘以4倍。

17、ldr-hdr约束建立了与重构的hdr清晰图像i′(t)的关系，基于此设计损失函数

18、

19、其中由融合生成，该过程由传统多曝光融合算法实现。

20、hdr-hdr约束建立了与重构的hdr清晰图像i′(t)的关系，保证清晰且包含高动态范围内容，基于此设计损失函数

21、

22、总的损失函数由上述四个损失函数组成，以此指导训练网络。

23、

24、基于同一发明构思，本方案还设计了一种实现事件相机引导的高动态高速场景成像方法的系统，该系统包括，包括据采集模块：拍摄获取动态范围场景hdr成像数据集，数据集包括包含配对校准的低动态范围模糊图像、事件流和低动态范围清晰图像s(t)；

25、主网络：包含动态范围增强模块，利用图像编码器编码低动态模糊图像，利用事件编码器编码事件流体素，并生成特征级联；然后利用多级深度特征融合模块，将级联特征进行融合，生成高动态范围特征fh；运动去模糊模块，将事件流进一步按恢复图像的事件戳t分为左右两部分事件流，并分别进行编码得到具有位置表征的两个事件体素；构建事件编码器和分别对左右事件体素进行编码，提取其高时间分辨率特征；然后利用两个多重感受野运动残差估计模块来估计运动残差特征，用来补偿运动过程，从而恢复出清晰的hdr图像辅助网络模块：动态范围解耦网络，从清晰的hdr图像解耦出清晰的ldr图像动态范围融合网络，将ldr域的约束传递到hdr域，生成重构的hdr清晰图像i′(t)；

26、损失模块：利用自监督优化框架约束住网络和辅助网络模块，该框架包括hdr-ldr约束，用以建立与清晰ldr观测图像的s(t)之间的联系，保证生成是清晰的；

27、ldr-ldr约束，建立起中曝光图像之间的关系，从而保证动态范围的完整性；

28、ldr-hdr约束，建立了与i′(t)的关系，保证重构的图像i′(t)是清晰且高动态范围；

29、hdr-hdr约束，建立了与i′(t)的关系，引导清晰hdr图像的生成过程。

30、基于同一发明构思，本发明还提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现事件相机引导的高动态高速场景成像方法。

31、基于同一发明构思，本发明还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现事件相机引导的高动态高速场景成像方法。

32、与现有技术相比，本发明具有以下优点：

33、1)本发明提出了首个基于事件相机引导的联合高动态范围成像和运动去模糊框架，该框架可应用于动态场景高动态范围清晰图像重建，可以有效解决低动态范围和运动模糊耦合退化问题。

34、2)本发明提出了一个联合hdr成像和运动去模糊的网络，该网络可以同时利用事件相机的高动态范围和高时间分辨率特性，以端到端的方式进行训练，相对于级联hdr成像和运动区模糊的算法，该重建网络消除了累计误差，避免了次优化问题，此外重建网络可以重建出曝光时间内任意时刻的hdr清晰图像，重建结果具有更高的时间分辨率。

35、3)本发明提出了一种并行的多重感受野运动残差估计模块，该模块可以准确估计恢复的清晰图像时刻左右运动的信息，有效实现运动去模糊。

36、4)本发明提出了一种自监督学习构架，该构架引入了动态范围解耦网络和动态范围融合网络，将hdr约束问题转移到了ldr约束问题。这一设计使该发明在不需要清晰hdr参考图像的情况下也可以训练联合重建网络。该自监督学习构架不仅可以应用于修复ldr模糊图像，也可应用于修复清晰ldr图像。

37、5)本发明构造了一个混合成像设备并提出了一套多相机时间空间同步方式，同步后的设备可以捕获配准的ldr模糊图像，事件流和hdr清晰图像，用于支撑hdr清晰图像重建任务。