1.一种基于混合神经网络的事件场合成孔径成像算法,其特征在于,包含以下步骤:
步骤1:场景光线信息的捕获;利用事件相机在多个视角下捕获场景信息,并输出事件流;
步骤2:事件重聚焦;将多个视角下捕获的事件数据通过相机的多视角几何关系映射到合成孔径成像平面;
步骤3:构建和训练混合神经网络;用重聚焦后的事件数据和与之匹配的无遮挡视觉图像训练混合神经网络;
步骤4:视觉图像的重建;利用训练好的混合神经网络从纯事件数据中重建出无遮挡的目标图像。
2.根据权利要求书1所述基于事件相机的合成孔径成像算法,其特征在于:
在步骤1中需要使用事件相机在多个视角下进行密集遮挡场景的数据捕获,可以使用例如事件相机阵列、事件相机移动拍摄等方法;在构建数据集时需要用普通光学相机额外拍摄无遮挡的图像形成训练样本对;
步骤1所述多个视角下场景事件数据集为:
events(i),s∈[1,s],i∈[1,cs]
其中,events为第s个视角下场景事件数据集,
步骤1所述多个视角下场景无遮挡图像数据集为:
frames(us,vs),s∈[1,s],us∈[1,m],vs∈[1,n]
其中,frames为第s个视角下场景无遮挡图像,frames(us,vs)为第s个视角下采集的场景无遮挡图像上第us行第vs列的像素;s为视角的数量;m为成像平面行的数量;n为成像平面列的数量。
3.根据权利要求书1所述基于事件相机的合成孔径成像算法,其特征在于:
步骤2中所述在多个视角下场景事件数据集中,将第s个视角下产生的事件点数据即
其中,
第s个视角下产生的重聚焦后事件点数据表示为:
第s个视角下重聚焦后事件数据集表示为:
将所有视角下捕获的事件数据映射到参考视角r后的事件数据集表示为:
4.根据权利要求书1所述基于事件相机的合成孔径成像算法,其特征在于:
步骤3中神经网络为由脉冲神经网络与卷积神经网络组成的混合网络,其中脉冲神经网络需要由带有漏电机制的神经元构成,例如leakyintegrate-and-fire(lif)神经元;混合网络模型的输入为步骤2中所述多个视角下重聚焦到参考视角的事件数据集eventr,输出为重建后的视觉图像irecon,将该图像与步骤一中捕获的场景无遮挡图像framer计算损失函数再进行反向传播即可完网络模型的训练。
5.根据权利要求书1所述基于事件相机的合成孔径成像算法,其特征在于:
步骤4中输入的事件数据首先需要进行步骤2中将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面,得到多个视角下重聚焦到参考视角的事件数据集,然后输入训练好的神经网络后即可得到相应的视觉图像。