融合事件和图像的运动模糊图像线段检测方法及系统

1.本发明属于图像处理技术领域，特别涉及运动模糊图像的线段检测方法及系统。


背景技术：

2.线段是图像中一种重要的几何特征，它反映了三维空间中的目标边缘、物体骨架等结构或纹理信息。线段检测任务旨在从原始的像素图像中提取出矢量化表征的线段集合。作为计算机视觉的一个基础任务，图像线段检测在移动机器人、自动驾驶等领域具有重要作用，例如相机标定、三维重建、视觉slam(simultaneous localization and mapping)等等。近年来，得益于深度学习强大的性能，结合深度学习技术的线段检测方法发展迅速，已经能够获得高质量的线段检测结果。然而大多数方法都是针对清晰理想图像设计的，在实际应用中由于相机高速运动，获取的图像不可避免地会出现运动模糊。在运动模糊图像中，不同时间的边缘会混叠在一起，呈现出模糊的边缘，导致现有的线段检测算法性能严重退化。事件相机由于具有异步输出和高时间分辨率的特性，不存在运动模糊现象。近几年基于事件相机的线段检测方法逐步发展起来，它们直接在异步事件流上通过平面拟合等方式提取线段，检测结果对相机运动速度鲁棒性较强。然而由于事件点缺乏颜色纹理信息，单依靠事件相机进行线段检测误检较为严重，且在相机低速和沿线方向运动时事件点较少容易出现漏检。因此如何充分利用普光和事件相机的互补特性，通过融合普光图像和事件流来提升运动模糊图像的线段检测性能，是值得深入探讨与研究的问题。
3.总的来说，运动模糊图像的线段检测问题并未得到有效解决，主要还存在以下三点挑战：(1)针对普光高速运动模糊成像，目前还没有一种稳定提取图像边缘进行线段检测的方法；(2)事件相机虽然在相机高速运动时可异步捕捉边缘信息，但由于缺乏颜色纹理和在低速和沿线运动时边缘事件点缺失，单用事件流进行线段检测误检较为严重；(3)由于事件相机和普光相机成像方式不同，在高速和低速运动时优势互补。但是有效融合异步事件流和图像帧的线段检测方法，目前还未有人实现过。


技术实现要素：

4.针对运动模糊图像的线段检测任务面临的挑战，本发明提出了融合事件和图像的运动模糊图像线段检测方法。针对运动模糊图像中线段识别和定位困难的问题，充分考虑到事件相机高事件分辨率、无运动模糊的特性，引入事件相机数据进行辅助，提出了针对双模态模糊图像和事件流数据的特征融合骨干网络，分别利用通道注意力和自注意力实现图像和事件特征的浅层融合和深层多尺度融合。然后在特征解码阶段，利用解码融合模块基于自注意力对编码器输出的多尺度特征进行多级融合和特征增强。最后基于提取的融合特征，进行候选线段的提取和分类，实现运动模糊图像的线段检测。
5.本发明提供的一种融合事件和图像的运动模糊图像线段检测方法，包括以下步骤，
6.步骤1，构建训练样本集，包括采集事件相机和普光相机数据，配准事件数据和普
光图像，生成运动模糊图像，标注线段，将事件数据、运动模糊图像和线段标注打包作为运动模糊图像线段检测的训练样本集；
7.步骤2，基于事件和图像特征融合构建运动模糊图像线段检测网络模型，所述运动模糊图像线段检测网络模型包括特征融合骨干网络和线检测头，所述特征融合骨干网络包括浅层模块和级联对偶沙漏模块，所述浅层模块对事件脉冲张量和运动模糊图像组合提取浅层特征，所述级联对偶沙漏模块对浅层事件和图像分支特征融合增强，得到运动模糊图像和事件帧的融合特征图；所述线检测头包括线段建议网络模块和分类器，线段建议网络模块基于运动模糊图像和事件帧的融合特征图得到候选线段，然后由分类器监督训练获得线段的得分，得到最终保留线段；
8.步骤3，利用损失函数，基于步骤1构建的训练数据集，对步骤2构建的运动模糊图像线段检测网络模型进行训练；所述损失函数由线检测头中线段建议网络模块和分类器相应损失加权构成；
9.步骤4，基于步骤3所得训练好的运动模糊图像线段检测网络模型，输入待测试的运动模糊图像和事件流，对测试数据进行线段检测。
10.而且，所述浅层模块中包括2个浅层融合模块sfb和4个浅层卷积层，输入的运动模糊rgb图像首先经过浅层卷积层1进行下采样，输入的事件脉冲张量经过浅层卷积层3进行下采样，得到通道数一致的图像和事件特征；接着将图像和事件特征输入到第一个浅层融合模块sfb，对两路特征进行融合，并将融合后的两路特征分别与浅层卷积层1和浅层卷积层3输出的特征相加；rgb图像分支输出的融合特征再经过浅层卷积层2进行下采样和特征提炼，事件流特征分支输出的融合特征再经过浅层卷积层4进行下采样和特征提炼；然后，将输出的图像和事件特征送入到第二个浅层融合模块sfb，进行第二次特征融合；最后将融合后的图像和事件特征分别与原始特征相加，得到浅层图像特征和浅层事件特征，这两个特征将被输入到后续的第一个对偶沙漏模块。
11.而且，在浅层融合模块sfb中，对于输入的图像特征xf和事件特征xe，首先按通道拼接在一起，并经过卷积将通道数还原；接着利用两个通道注意力模块ca分别计算两路特征的注意力attnf和attne，并将注意力与原始特征相乘，再与另一模态的原始特征相加，实现注意力加权的特征融合；最后分别利用两个残差块对融合后的特征进行提炼，并将提炼后的图像特征和事件图像输出。
12.而且，当级联对偶沙漏模块中包括n个对偶沙漏模块，从第一个对偶沙漏模块开始到第n-1个对偶沙漏模块，在每一个对偶沙漏模块中，将输入的图像和事件特征先经过编解码模块融合成单路特征，接着经过一个残差块，然后通过残差连接分别与原始输入的图像和事件特征相加，恢复为两路特征并最终输出给下一个对偶沙漏模块。对于网络中最后一个对偶沙漏模块，同样将输入的图像和事件特征先经过编解码模块融合成单路特征，接着经过一个残差块，然后不同于之前的n-1个对偶沙漏模块，直接输出经过残差块后的单路融合特征，用于后续的线段检测。
13.而且，每个编解码模块中，图像特征流和事件特征流分别依次经过若干编码器模块，每次编码后图像特征和事件特征输入到解码融合模块dfb中，经dfb的融合特征和上层解码器输出特征逐元素相加输入到下层解码器。
14.而且，在解码融合模块dfb中，首先利用通道拼接和的卷积将输入的图像特征和事
件特征融合为一个特征，再送入到transformer对特征进一步融合和提炼。
15.而且，由线段建议网络模块相应的交叉点预测损失、线段预测损失和分类器相应的最终线段分类损失加权构成损失函数。
16.另一方面，本发明还提供一种融合事件和图像的运动模糊图像线段检测系统，用于实现如上所述的一种融合事件和图像的运动模糊图像线段检测方法。
17.而且，包括以下模块，
18.第一模块，用于构建训练样本集，包括采集事件相机和普光相机数据，配准事件数据和普光图像，生成运动模糊图像，标注线段，将事件数据、运动模糊图像和线段标注打包作为运动模糊图像线段检测的训练样本集；
19.第二模块，用于基于事件和图像特征融合构建运动模糊图像线段检测网络模型，所述运动模糊图像线段检测网络模型包括特征融合骨干网络和线检测头，所述特征融合骨干网络包括浅层模块和级联对偶沙漏模块，所述浅层模块对事件脉冲张量和运动模糊图像组合提取浅层特征，所述级联对偶沙漏模块对浅层事件和图像分支特征融合增强，得到运动模糊图像和事件帧的融合特征图；所述线检测头包括线段建议网络模块和分类器，线段建议网络模块基于运动模糊图像和事件帧的融合特征图得到候选线段，然后由分类器监督训练获得线段的得分，得到最终保留线段；
20.第三模块，用于利用损失函数，基于第一模块构建的训练数据集，对第二模块构建的运动模糊图像线段检测网络模型进行训练；所述损失函数由线检测头中线段建议网络模块和分类器相应损失加权构成；
21.第四模块，用于基于第三模块所得训练好的运动模糊图像线段检测网络模型，输入待测试的运动模糊图像和事件流，对测试数据进行线段检测。
22.或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种融合事件和图像的运动模糊图像线段检测方法。
23.本发明的原理是：针对运动模糊导致图像中线段识别和定位困难的问题，引入了事件相机数据提供辅助信息。利用浅层融合模快基于通道注意力对浅层的图像和事件特征进行自适应加权融合，然后利用解码融合模块基于自注意力对深层多尺度特征进行模态内的增强和模态间的交互，得到事件和图像融合的特征。再将特征图输入到线段提议网络(line proposal network)，线段提议网络包括交叉点预测模块、线段预测模块和线段-交叉点匹配模块，分别利用交叉点预测模块和线段预测模块提取图像中的交叉点和线段，再利用线段-交叉点匹配模块生成高质量的候选线段，然后通过匹配特征图得到每条候选线段的特征向量，最后将特征向量输入到分类器，得到每条候选线段的置信度分数，根据设定的置信度阈值分数，筛选出最终的线段检测结果。实验结果表明，所提出的融合事件和图像的线检测方法在仿真和真实数据集上均取得了最高的检测精度，验证了该方法对运动模糊图像线段检测任务的有效性。
附图说明
24.图1为本发明实施例输入的运动模糊图像和事件数据组合表征示意图。
25.图2为本发明实施例融合事件和运动模糊图像的线检测网络结构图。
26.图3为本发明实施例特征融合骨干网络中的对偶沙漏网络中的编解码模块示意
图。
27.图4为本发明实施例编解码模块中的解码融合模块dfb示意图。
具体实施方式
28.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图结合实施例对本发明进一步详细说明。
29.现有的基于深度学习的线检测方法在清晰理想图像上性能较好，但是在运动模糊图像上算法性能会严重退化；而基于事件流的线检测方法虽然不存在运动模糊，但是误检严重且在低速和沿线方向存在退化现象。本发明实施例建立的融合事件和图像的线段检测网络输入及真实线标注生成如附图1所示，对于事件流，根据事件极性划分和线性插值获得事件脉冲张量，原始清晰图像经过插帧获得高帧率图像序列，然后平均加权获得运动模糊图像，同时标注最终时刻的清晰图像的线作为真实线段标注。融合线段检测网络架构如附图2所示，其整体结构可见第一列，运动模糊图像和事件脉冲张量依次经过由浅层模块、若干对偶沙漏模块组成的特征融合骨干网络得到融合特征，然后经过线检测头获得最终的线检测结果。其对偶沙漏模块中的编解码模块如图3所示，而编解码模块中的解码融合模块如图4所示。
30.本发明实施例提供的一种融合事件和图像的运动模糊图像线段检测方法，包括以下步骤：
31.步骤1：构建训练样本集，包括采集事件相机和普光相机数据，配准事件数据和普光图像，生成运动模糊图像，标注线段，将事件数据、运动模糊图像和线段标注打包作为运动模糊图像线段检测数据集，即运动模糊图像线段检测的训练样本集。
32.为提供运动模糊图像的线检测训练数据，实施例将清晰图像连续5帧进行加权平均获得运动模糊图像。对于标注真实线段，在固定时间段内最后一张清晰图像上标注得到。
33.步骤2：构建基于事件-图像特征融合的线段检测网络模型，
34.实施例中线段检测网络模型采用两阶段结构，基于事件和图像特征融合构建运动模糊图像线段检测网络模型。所述运动模糊图像线段检测网络模型包括特征融合骨干网络和线检测头，所述特征融合骨干网络包括浅层模块和级联对偶沙漏模块，所述浅层模块对事件脉冲张量和运动模糊图像组合提取浅层特征，所述级联对偶沙漏模块对浅层事件和图像分支特征融合增强，得到运动模糊图像和事件帧的融合特征图；所述线检测头包括线段建议网络模块和分类器，线段建议网络模块基于运动模糊图像和事件帧的融合特征图得到候选线段，然后由分类器监督训练获得线段的得分，得到最终保留线段；
35.实施例采用的优选方案如下：
36.1)数据组合准备：对模糊图像ib和其曝光成像时间t内的事件流ε组成一组输入数据，事件流采用事件脉冲张量表示为h
×w×b×
2的四维向量。时间维度b设置成5，然后缩放事件脉冲张量到512
×
512
×
10的尺寸，图像也被缩放到512
×
512
×
3的尺寸，由此得到成对的运动模糊图像和以事件脉冲张量表示的事件帧。其中，h为事件相机图像的行数，w为事件相机图像的列数。
37.优选建议数据组合表征的具体做法是：原始图像是无运动模糊的多张清晰图像，为获取时间t内的运动模糊图像，对多张清晰图像进行加权平均，由此得到ib，然后取时间t
内的最后一张清晰图像进行标注获得标注的真实线段用于训练。而事件t内的事件流，对于事件流其中xi,yi,pi,ti分别为第i个事件点的横纵坐标、极性和触发时间。通过5等分时间进行线性插值获得5张h
×w×
2张事件帧，其中2代表事件正负极性。插值获得在任意t时刻在坐标(x,y)处的事件脉冲张量est(x,y,t)，公式为：
[0038][0039]
其中b∈{0,1,2,3,4}，t0为事件流最早的时间戳，δt为事件流的持续时间，ek＝(xk,yk,pk,tk)为第k个事件点，其对应横纵坐标、极性和触发时间，δ()为单位冲击响应，max()为取最大值函数。为适应网络三通道输入，把极性维度压缩到时间分段维度中得到h
×w×
10的向量，再通过缩放得到512
×
512
×
10的事件输入。
[0040]
2)所述浅层模块中包括2个浅层融合模块sfb和4个浅层卷积层(分别记为浅层卷积层1、浅层卷积层2、浅层卷积层3和浅层卷积层4)：输入尺寸为512
×
512
×
3的运动模糊rgb图像和512
×
512
×
10的事件脉冲张量，经过浅层模块得到初步融合的特征。具体地，rgb图像首先经过浅层卷积层1，事件脉冲张量经过浅层卷积层3，分别对输入图像和事件脉冲张量进行下采样，得到通道数一致的图像和事件特征，其中浅层卷积层1和浅层卷积层3都是一个步长为2的7
×
7卷积。接着将图像和事件特征输入到第一个浅层融合模块(sfb)，对两路特征进行融合，并将融合后的两路特征分别与浅层卷积层1和浅层卷积层3输出的特征相加。rgb图像分支输出的融合特征再经过浅层卷积层2进行下采样和特征提炼，事件流特征分支输出的融合特征再经过浅层卷积层4进行下采样和特征提炼，其中浅层卷积层2和浅层卷积层4都是由一个步长为2的最大池化层和三个残差块组成。然后，将输出的图像和事件特征送入到第二个浅层融合模块sfb，进行第二次特征融合。最后将融合后的图像和事件特征分别与原始特征相加，得到尺寸为128
×
128的浅层图像特征和浅层事件特征，这两个特征将被输入到后续的第一个对偶沙漏模块。
[0041]
关于浅层融合模块sfb，具体做法是：对于输入的图像特征xf和事件特征xe，浅层融合模块首先将它们按通道拼接在一起，并经过一个1
×
1的卷积将通道数还原。接着利用两个通道注意力模块ca分别计算两路特征的注意力attnf和attne，并将注意力与原始特征相乘，再与另一模态的原始特征相加，实现注意力加权的特征融合。最后分别利用两个残差块对融合后的特征进行提炼，并将提炼后的图像特征和事件图像输出。整个浅层融合模块的处理过程可以用公式描述为：
[0042][0043]
其中，concat()表示通道拼接，conv1×1表示1
×
1的卷积，x为还原后的融合特征；ca表示通道注意力模块，则caf()表示图像特征的通道注意力模块，attnf表示图像特征注意力，cae()表示事件特征的通道注意力，attne表示事件特征注意力；resf()表示图像特征的残差块，rese()表示事件特征的残差块；yf表示提炼后的图像特征，ye表示提炼后的事件
特征；
⊙
表示逐元素相乘。
[0044]
3)对偶沙漏深层特征增强融合。设共有n个对偶沙漏模块，分别记为对偶沙漏模块1、对偶沙漏模块2、对偶沙漏模块3
…
对偶沙漏模块n。
[0045]
具体实施时，n建议取值范围为1～5。考虑模型大小和速度，优选建议取2。
[0046]
从第一个对偶沙漏模块开始到第n-1个对偶沙漏模块，在每一个对偶沙漏模块中，将输入的图像和事件特征先经过编解码模块融合成单路特征，接着经过一个残差块，然后通过残差连接分别与原始输入的图像和事件特征相加，恢复为两路特征并最终输出给下一个对偶沙漏模块。对于网络中最后一个对偶沙漏模块，同样将输入的图像和事件特征先经过编解码模块融合成单路特征，接着经过一个残差块，然后不同于之前的n-1个对偶沙漏模块，直接输出经过残差块后的单路融合特征，用于后续的线段检测。
[0047]
级联对偶沙漏模块的计算过程如下：
[0048][0049]
其中，res()表示残差模块，e-d()表示编解码模块，和分别表示第i个对偶沙漏模块的输入图像特征和事件特征，和分别表示第i个对偶沙漏模块的输入图像特征和事件特征，yi表示第i个对偶沙漏模块输出的融合特征。
[0050]
编解码模块实现具体做法是，图像特征流和事件特征流分别依次经过若干编码器模块(优选5个)，每次编码后图像特征和事件特征输入到解码融合模块dfb中，经dfb的融合特征和上层解码器输出特征逐元素相加输入到下层解码器。
[0051]
实施例中，具体地，经过dfb1融合编码器1编码的图像和编码器6编码的事件特征，然后逐元素加上解码器4的输出特征输出到解码器5进行解码，输出最终的编解码特征；而解码器4的输入特征，是由dfb2融合编码器2编码的图像和编码器7编码的事件特征加上解码器3的输出；解码器3的输入，则由dfb3融合编码器3编码的图像特征和编码器8编码的事件特征，加上解码器2的输出；解码器2的输入同理；解码器1的输入，则直接由dfb5融合编码器5编码的图像特征和编码器10编码的事件特征构成。编码器和解码器均由残差块实现，在特征编码器中，图像特征流和事件特征流分别依次经过5个步长为2的最大池化下采样层和残差块，而在解码过程中则不断进行2倍的上采样和残差块，以保证同一深度编码器、解码器和解码融合模块的特征尺寸一致。
[0052]
解码融合模块dfb首先利用通道拼接c和1
×
1的卷积conv将输入的图像特征和事件特征融合为一个特征f1，再将其送入到transformer对特征进一步融合和提炼。
[0053]
transformer为现有技术，为便于实施参考起见，提供transformer中的具体处理说明：首先对特征归一化layernorm，然后接一个轻量多头自注意力模块，然后和融合输入特征f1进行逐元素相加得到融合特征f2，再经过归一化layernorm、逆残差前馈神经网络后与融合特征f2逐元素相加输出解码特征。
[0054]
4)得到运动模糊图像和事件帧的融合特征图后，需要输入融合特征图到线检测头，在线检测头中先通过lpn获得候选线段集合，然后通过分类器，获得最终预测得分。
[0055]
1)实施例的线检测头核心采用线段建议网络模块lpn，线段建议网络模块lpn为现有技术，为便于实施参考起见，提供线段建议网络模块lpn相应处理说明：
[0056]
分别利用解码器预测得到交叉点集合和线段集合即生成建议交叉点和建议线段。其中解码器依次由3
×
3卷积层、归一化层、relu激活层、3
×
3卷积层构成。然后基于点线匹配获得最终候选线段，包括对生成的建议线段和建议交叉点进行匹配和耦合，恢复建议线段之间的连接关系，同时去除重复预测的建议线段，并生成最终的候选线段。具体的，若一条预测的线段和任意两个交叉点小于设定阈值，那么就保留该线段作为一个建议线段。
[0057]
2)将候选线段利用几何位置匹配结合双线性插值提取融合特征向量后，输入全连接层构成的分类器进行有监督训练。
[0058]
本发明实施例的运动模糊图像线段检测网络是基于pytorch实现的，给定一对模糊图像和对应时间内的事件流，网络直接输出向量化的线段检测结果。
[0059]
具体实施时，可以将候选线段利用几何位置匹配结合双线性插值提取的融合特征向量，获得候选线段特征，然后接入全连接层构成的分类器监督训练获得线段的得分，最终仅保留线段得分大于设定阈值的线为最终结果。
[0060]
将候选线段利用几何位置匹配结合双线性插值提取的融合特征向量，可以是在候选线段上均匀采样若干个点(例如25个点)，在其匹配的融合特征图上利用双线性插值提取特征向量并连接在一起的结果。
[0061]
实施例的运动模糊图像线段检测网络模型中多处用到残差块，优选建议的残差块结构为：残差块包括3个依次连接的卷积层和1个残差连接，第一个卷积层包括依次连接的1个bn层、一个relu激活函数和1个1
×
1的卷积，第二个卷积层包括依次连接的1个bn层、一个relu激活函数和1个3
×
3的卷积，第三个卷积层包括依次连接的1个bn层、一个relu激活函数和1个1
×
1的卷积，第三个卷积层的输出通过残差连接与残差块输入相加得到残差块输出。网络中各部分的残差块都可以采用该结构。
[0062]
步骤3：利用线检测头中各个模块加权的损失函数，基于构建的训练数据集，对网络模型进行训练，得到训练好的运动模糊图像线段检测网络模型。
[0063]
实施例的步骤3中，优选定义网络的损失函数包含线段建议网络模块lpn相应的交叉点预测损失、线段预测损失和分类器相应的最终线段分类损失。权值可预先设置，例如设置为1：1：1。
[0064]
步骤4：基于步骤3所得训练好的运动模糊图像线段检测网络模型输入待测试的运动模糊图像和事件流，对测试数据进行线段检测并可评定精度。
[0065]
本发明的实验结果如表1所示，展示了不同方法在仿真事件和模糊图像数据集上对的定量评估。其中sap5，sap
10
，sap
15
分别是距离阈值取5、10、15像素时的结构平均精度，msap是sap5，sap
10
和sap
15
的平均值。
[0066]
表1不同线段检测方法在仿真事件-运动模糊图像数据集上的定量评估
[0067][0068]
定量结果表明，无论是传统的lsd、fbsd，还是基于深度学习的l-cnn、hawp、ulsd和letr，在处理运动模糊图像时线段检测的精度都非常低，对于msap指标最高只有15.2。传统方法lsd和fbsd存在大量的误检噪声而导致精度普遍较低，但是lsd速度最快，而深度学习方法l-cnn、hawp、ulsd和letr存在大量的漏检导致检测精度不高，而本发明提出融合事件和图像特征进行线检测，在采用线段吸引力场线表达的fe-hawp和采用贝塞尔曲线表达的fe-ulsd检测方法可以很好的处理模糊图像的线段检测问题，并且获得更高的检测精度，验证了本发明提出的融合事件和图像进行运动模糊图像线检测的有效性。而fe-hawp和fe-ulsd由于在特征融合网络中采用了比原始的堆叠沙漏网络多了的一条编码器分支，并引入了较为耗时的transformer用于特征融合，但是相比基于transformer的线段检测方法letr，本发明的方法的效率是其近3倍。
[0069]
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
[0070]
在一些可能的实施例中，提供一种融合事件和图像的运动模糊图像线段检测系统，包括以下模块，
[0071]
第一模块，用于构建训练样本集，包括采集事件相机和普光相机数据，配准事件数据和普光图像，生成运动模糊图像，标注线段，将事件数据、模糊图像和线段标注打包作为运动模糊图像线段检测的训练样本集；
[0072]
第二模块，用于基于事件和图像特征融合构建运动模糊图像线段检测网络模型，所述运动模糊图像线段检测网络模型包括特征融合骨干网络和线检测头，所述特征融合骨干网络包括浅层模块和级联对偶沙漏模块，所述浅层模块对事件脉冲张量和运动模糊图像组合提取浅层特征，所述级联对偶沙漏模块对浅层事件和图像分支特征融合增强，得到运动模糊图像和事件帧的融合特征图；所述线检测头包括线段建议网络模块和分类器，线段建议网络模块基于运动模糊图像和事件帧的融合特征图得到候选线段，然后由分类器监督训练获得线段的得分，得到最终保留线段；
[0073]
第三模块，用于利用损失函数，基于第一模块构建的训练数据集，对第二模块构建的运动模糊图像线段检测网络模型进行训练；所述损失函数由线检测头中线段建议网络模块和分类器相应损失加权构成；
[0074]
第四模块，用于基于第三模块所得训练好的运动模糊图像线段检测网络模型，输入待测试的运动模糊图像和事件流，对测试数据进行线段检测。
[0075]
在一些可能的实施例中，提供一种融合事件和图像的运动模糊图像线段检测系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种融合事件和图像的运动模糊图像线段检测方法。
[0076]
在一些可能的实施例中，提供一种融合事件和图像的运动模糊图像线段检测系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种融合事件和图像的运动模糊图像线段检测方法。
[0077]
以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。