一种基于混合神经网络的事件场合成孔径成像算法

文档序号:25539482发布日期:2021-06-18 20:34阅读:来源:国知局

技术特征:

1.一种基于混合神经网络的事件场合成孔径成像算法,其特征在于,包含以下步骤:

步骤1:场景光线信息的捕获;利用事件相机在多个视角下捕获场景信息,并输出事件流;

步骤2:事件重聚焦;将多个视角下捕获的事件数据通过相机的多视角几何关系映射到合成孔径成像平面;

步骤3:构建和训练混合神经网络;用重聚焦后的事件数据和与之匹配的无遮挡视觉图像训练混合神经网络;

步骤4:视觉图像的重建;利用训练好的混合神经网络从纯事件数据中重建出无遮挡的目标图像。

2.根据权利要求书1所述基于事件相机的合成孔径成像算法,其特征在于:

在步骤1中需要使用事件相机在多个视角下进行密集遮挡场景的数据捕获,可以使用例如事件相机阵列、事件相机移动拍摄等方法;在构建数据集时需要用普通光学相机额外拍摄无遮挡的图像形成训练样本对;

步骤1所述多个视角下场景事件数据集为:

events(i),s∈[1,s],i∈[1,cs]

其中,events为第s个视角下场景事件数据集,为第s个视角下场景的第i个事件点,其中为其极性,为其产生时刻的时间戳,表示其生成位置为相机成像平面的第和第列;t为场景事件数据的捕获总时长;s为视角的数量;cs为第s个视角下收集到的事件点总数;m为成像平面行的数量;n为成像平面列的数量;

步骤1所述多个视角下场景无遮挡图像数据集为:

frames(us,vs),s∈[1,s],us∈[1,m],vs∈[1,n]

其中,frames为第s个视角下场景无遮挡图像,frames(us,vs)为第s个视角下采集的场景无遮挡图像上第us行第vs列的像素;s为视角的数量;m为成像平面行的数量;n为成像平面列的数量。

3.根据权利要求书1所述基于事件相机的合成孔径成像算法,其特征在于:

步骤2中所述在多个视角下场景事件数据集中,将第s个视角下产生的事件点数据即逐个映射到参考视角下r相机的成像平面上,具体如下:

其中,为由视角s下第i个事件点映射到参考视角r后的像素位置,k为相机的内参矩阵,为相机视角s相对于参考视角r的旋转矩阵,为相机视角s相对于参考视角r的平移矩阵,d为合成孔径焦距,即受遮挡目标到相机平面的距离;

第s个视角下产生的重聚焦后事件点数据表示为:

第s个视角下重聚焦后事件数据集表示为:

将所有视角下捕获的事件数据映射到参考视角r后的事件数据集表示为:

4.根据权利要求书1所述基于事件相机的合成孔径成像算法,其特征在于:

步骤3中神经网络为由脉冲神经网络与卷积神经网络组成的混合网络,其中脉冲神经网络需要由带有漏电机制的神经元构成,例如leakyintegrate-and-fire(lif)神经元;混合网络模型的输入为步骤2中所述多个视角下重聚焦到参考视角的事件数据集eventr,输出为重建后的视觉图像irecon,将该图像与步骤一中捕获的场景无遮挡图像framer计算损失函数再进行反向传播即可完网络模型的训练。

5.根据权利要求书1所述基于事件相机的合成孔径成像算法,其特征在于:

步骤4中输入的事件数据首先需要进行步骤2中将多个视角场景事件数据集通过相机的多视角几何关系映射到合成孔径成像平面,得到多个视角下重聚焦到参考视角的事件数据集,然后输入训练好的神经网络后即可得到相应的视觉图像。


技术总结
本发明涉及一种基于混合神经网络的事件场合成孔径成像算法,包括事件数据集的构建、事件流的重对焦方法、混合神经网络的构建与训练和视觉图像的重建。其中,通过事件相机的移动从多视角捕获场景的亮度信息后,即可将收集到的事件流进行重对焦,使得目标产生的有效事件点在时空平面上成功对齐,而遮挡物产生的噪声事件点仍处于离焦状态。随后通过构建和训练脉冲神经网络与卷积神经网络组成的混合神经网络(SNN‑CNN)模型,可从重对焦后的事件场中恢复出高质量的无遮挡目标图像。本发明综合利用了事件相机的低延时、高动态范围优势与混合神经网络的时空数据处理能力,实现了密集遮挡以及极端光照环境下的目标重建,并具有较好的视觉效果。

技术研发人员:余磊;张翔;廖伟;杨文;夏桂松
受保护的技术使用者:武汉大学
技术研发日:2021.03.05
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1