技术特征：
1.一种基于事件数据驱动的视频去模糊方法，其特征是按如下步骤进行：步骤1获取训练视频数据和对应的事件序列，并对事件序列进行分割：步骤1.1获取训练视频数据集：获取真实的模糊视频图像集，记为x＝{x1,x2,
…
,x
i
,
…
,x
n
}，其中，x
i
表示第i张模糊图像，i＝1,2,
…
,n，n为模糊图像的帧数量；获取真实的清晰视频图像集，记为y＝{y1,y2,
…
,y
i
,
…
,y
n
}，其中，y
i
表示第i张清晰图像，i＝1,2,...,n，n为正常图像的总数；令i＝{x,y}表示训练图像数据集；步骤1.2对事件序列进行分割：获取真实的模糊图像集x的真实事件序列；将真实的模糊视频图像集x输入事件仿真器中并生成合成的事件序列；根据真实的模糊视频图像集x中所包含的帧数量n，将真实事件序列和合成的事件序列分别划分成相同数量n的分段序列，记为e＝{e1,...,e
i
,...,e
n
},e
i
表示第i张模糊图像x
i
所对应的真实和合成的事件序列，i＝1,2,...,n，n为事件序列的总数；步骤2构建视频去模糊神经网络，包括：编码网络、时间记忆模块、空间融合模块、解码网络；步骤2.1、所述编码网络由m个残差模块和m个下采样层交替排列组成，其中，残差模块具有m个卷积层及其对应的跳线连接，卷积核大小为均为ks，步长均为s，各卷积层之间依次连接有leakrelu层和批归一化层；所述第i张模糊图像x
i
经过所述编码网络的处理后，生成m个不同尺度的图像特征其中，u
im
表示第i张模糊图像x
i
在第m个尺度的图像特征；步骤2.2、所述时间记忆模块包括一个公用的卷积层、两个专用的卷积层、记忆单元；第i-1个事件序列e
i-1
和第i+1个事件序列e
i+1
输入公用的卷积层中进行处理，得到两者的公共特征，再分别经过两个专用的卷积层的处理，相应得到第i-1个事件序列e
i-1
的键和值以及第i+1个事件序列e
i+1
的键和值；所述记忆单元将第i-1个事件序列e
i-1
的键和值以及第i+1个事件序列e
i+1
的键和值进行拼接后，再分别输入两个卷积核为1
×
1的卷积层中，输出两个卷积结果后再通过乘积运算得到第i个事件序列e
i
与相邻事件序列e
i-1
和e
i+1
的关联特征图；最后将所述关联特征图与第i个事件序列e
i
相加后，得到第i个事件特征图c
i
；步骤2.3、所述空间融合模块包括m+1个下采样层、m个上采样层、一个卷积核为1
×
1的卷积层和融合单元；所述m个不同尺度的图像特征输入所述空间融合模块中，并分别通过m个下采样层的处理，从而将m个不同尺度的图像特征调整为相同比例的图像特征，再经过一个卷积核为1
×
1的卷积层后获得第i个特征图f
i
；所述第i个事件特征图c
i
通过第m+1个下采样层的处理后，得到下采样后的第i个事件特征图c
′
i
；所述融合单元利用式(1)对所述下采样后的第i个事件特征图c
′
i
和第i个特征图f
i
进行处理，从而得到第i个融合特征图feat
i
中第p个像素点的特征进而得到第i个融合特
征图feat
i
：式(1)中，p、q是位置索引，表示第i个事件特征图c
′
i
在p位置处的特征值，f
iq
表示第i个特征图f
i
在q位置处的特征值，s为特征图的像素点总数；g(
·
)表示卷积操作；f(
·
,
·
)表示乘积函数，并有：式(2)中，θ(
·
)和均表示卷积操作；所述第i个融合特征图feat
i
分别经过m个上采样层的处理后，获得m个不同尺度的映射特征其中，v
im
表示第i张模糊图像x
i
在第m个尺度的图像特征；步骤2.4、所述解码网络由m个残差模块和m个上采样层交替排列组成，其中，残差模块具有m个卷积层及其对应的跳线连接，卷积核大小为均为ks，步长均为s，各卷积层之间依次连接有leakrelu层和批归一化层；所述m个不同尺度的映射特征经过所述解码网络的上采样层处理，获得m个尺度一致的特征图并进行拼接之后，再经过一个卷积操作，从而生成清晰图像步骤3、利用式(3)构建反向传播的损失函数l：式(3)中，k为生成清晰图像的像素点数，为第i个模糊图像经过神经网络生成的去模糊图像的第k个像素点，为清晰视频图像集中第i个图像切片对应的第k个像素点；步骤4、基于真实的模糊图像集x及其分段序列e对视频去模糊神经网络进行训练，并计算损失函数l，同时使用自适应矩估计优化方法以学习率lr
s
来更新静态检测网络权值，当训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时，训练停止，从而得到最优的去模糊模型；以所述最优的去模糊网络对模糊视频图像进行处理，并获得对应的清晰图像。
技术总结
本发明公开了一种基于事件数据驱动的视频去模糊方法，其步骤包括：1获取视频数据和对应的事件序列，并对事件序列进行分割；2构建编码网络对图像数据进行特征提取；3通过时间记忆模块计算相邻事件序列的关联性，提取时间特征；4通过空间融合模块将事件特征和图像特征进行空间尺度的融合；5构建解码网络生成去模糊之后的视频帧。本发明能够充分利用事件数据提供的时空先验信息，用于驱动视频去模糊，从而有效提升去模糊效果。而有效提升去模糊效果。而有效提升去模糊效果。
技术研发人员：查正军 傅雪阳 曹成志 时格格 黄宇坤
受保护的技术使用者：中国科学技术大学
技术研发日：2022.02.10
技术公布日：2022/5/10